适用于Python的轻量级NLP框架

2024年1月10日 315次阅读

我现在正在使用spaCy来确定两个字符串之间的语义相似性.它运行良好,只需要几行代码,所有的工作都在幕后完成：

>>> import spacy
>>> nlp = spacy.load('en')
>>> nlp('string').similarity(nlp('another string'))
0.796

但是它需要大约600mb的模块数据.因为我在Heroku上主持这远远超过了可用的slu size尺寸.我正在寻找托管的其他替代方案,但是我可以使用另一个框架吗？我不需要spacy的“工业强度”,但是其他框架似乎不能正常工作/不能快速实现.

最佳答案

spaCy models, as of v1.7.0, can be installed as Python packages. This
means that they’re a component of your application, just like any
other module.

这是最近在2017年3月20日推出的50 MB型号：

en_core_web_sm 50 MB Vocab, syntax, entities, word vectors

您在网页上有更多详细信息
https://spacy.io/docs/usage/models

点赞