synonyms - Python：基于jieba中文分词的词包
介绍:
查近义词，计算句子相似度的接口函数，
https://github.com/huyingxi/Synonyms
oov: out of vocabulary , 集外词，未登录词
基于jieba分词
主要方法：
- nearby(‘w’), 获取'w'近义词、相似度(距离远近)
- compare('s1', 's2', seg=True|False) , 比较两个句子的相似度，seg决定是否分词。
- SenetenceSim上进行测试，阈值0.5 ，语料7516条情况下，准确率 88.15%
- display('w'): 以友好的方式打印近义词，方便调试，调用了nearby方法
距离计算时用欧氏距离或曼哈顿距离等。
实用性：
分词用的jieba模块
相似度计算用的word2vec模型
自定义停止词文件
相似距离计算最后加入了0.8 的莱文斯坦距离比重，又称Levenshtein距离
启发性思想：
词库的局限性，已经训练成的word2vec的效果局限性
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！