场景

这是我在2015年3月份做的毕业设计，当时在《数学之美》上看到这个用余弦定理计算相似度的算法，于是想着可以用它来计算两篇文章的相似度，因为我发现好多同学写论文直接上百度复制粘贴，其实有时候我也是^_，于是我想写个程序能够判断同学的文章是不是从百度抄来的，抄了百分之几，于是就做了这个毕业设计。最后拿到了学校的优秀毕业设计。

整个流程：

1. 获得学生的论文，包含标题和内容两个部分。标题为关键字，构造百度搜索的URL，然后去抓取前 n 页的网页内容。提取出汉字。
2. 对汉字进行过滤，去掉标点，虚词等等，再进行中文分词。
3. 拿下载的文章和学生的文章，一篇一篇的计算相似度，找出相似度最高的前几篇，超过一个阈值，比如60%，就认为是抄袭了。

实现细节：

1. 文本爬虫，多线程抓取网页内容，把网上的文章下载到缓冲区，一个线程把缓冲区写到磁盘，其实就是多个生产者，一个消费者的模型。
2. 中文分词，看了一下结巴分词，最后还是自己实现了一个最大正向匹配的分词算法，下载了一个包含22万个常用和专业词的字典。
3. 计算两篇文章的相似度，这个是本文下面重点要说的。

相似度计算

由上面的过程，我把一篇文章切成一个一个的词了，像这样

我正在写代码

中文分词后

我 / 正在 / 写 / 代码

然后我有一个包含 22 万个词语的字典，它的结构像这样，按拼音首字母排序（假设啊，数据都是假设的）

在字典里面分别查找 {“我”, “正在”, “写”, “代码”} 对应的 index
查找前

我 / 正在 / 写 / 代码

查找后变成了

30 / 99 / 70 / 50

词典有22万个词，我开一个长度为22万的数组array，记录词频

array[30] = 1 // 表示“我”出现了1次，出现了100次就赋值100
array[99] = 1
array[70] = 1
array[50] = 1

其实有很多地方是 0 的，用稀疏数组保存省空间，转换后变成

array = {0, 0, 0, 0, 0, 0, 0, … 0, 1, 0, …, 0, 1, 0, …0}
array 长度 22000

{我正在写代码} == {0, 0, 0, 0, 0, …, 0, 1, 0, …, 0}

到此，一篇文章就被转化成了一个维度是22000的向量了，储存在 array 中。

余弦定理

应该是高中的数学书上讲过余弦定理（其实我也忘的差不多了^_），书上有这个式子

2篇文章就是2个向量，2个向量可以计算夹角来判断相似度。计算文章相似度就可以转化为计算两个N维向量的夹角。

如果两个向量夹角很小，cos值接近1，说明他们很相似。
如果两个向量夹角是90度，cos值为0，说明他们不相似，是正交的。

如果 cos 为 1，说明两篇文章的词频是一模一样的，即出现了一样的词语，但语序可能不一样。
如果 cos 为 0，说明两篇文章没有一样词语，是正交的，一个相同的词都没有。

这样就可以判断两篇文章有多相似了，可以得出一个[-1, 1]之间的值，来判断是否抄袭，改变语序，调换段落也是没用的^_。