文本相似度的计算

文本相似度的计算方法有很多,这里简单记录一下

传统的VSM模型:

计算文本相似度的时候主要是使用tfidf来协助生成文档向量
整个文档集合有多少词,就是多少维度
每个文档中的词用tfidf来生成权重,用权重来表示文档的向量
生成向量后,就可以计算相似度了,用夹角余弦
当然这里词的权重的生成方式还有很多,也可以用其他的

LSI(Latent semantic indexing) 的方式

这个的方式也比较简单,主要是先生成文档 - 词矩阵
矩阵中的内容就是文档中出现该词的频数
然后用svd分解矩阵得到三个矩阵
C = USV
然后每个文档向量分别和USV相乘得到向量
文本相似度计算还是夹角余弦
至于降低维度,就要对S进行奇异值削减了
    原文作者:dmlllll
    原文地址: https://segmentfault.com/a/1190000005074067
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞