数学与算法《文档相似性 - 余弦定理》

TF-IDF
零:寒暄寒暄
昨天看了一天的CNN,结果被深度学习的深度给深深地深刻地深埋了(是叹服了),今天想换换脑子,去综结一下之前学习的《数学之美》里面介绍的算法和数学,下一篇再搞几篇深度学习的学习笔记。
手里没机器,慢慢先学习,等我回国了再搞机器。

一:深入浅出
现在,我有两篇文档,如何计算两篇文档的相似程度的呢?
在这里插入图片描述
因此,这两句话变成了两个向量,每个元素是词语出现的个数,现在问题就变成了两个向量之间的相似性对比,那么就可以用到余弦定理了。

在这里插入图片描述
两个向量之间的夹角越小,那么两个向量之间的方向越相近,也相似。计算式如下:
在这里插入图片描述

余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,这就叫"余弦相似性"。

二:拓展
上面是讲了两句话的相似性,我们只能计算词频,但是对于文章我们还可以计算出,IDF值的话,我们就会用TF-IDF值找出两篇文章的相似性。截取每篇文章前N个关键词词语,组成一个集合(TF运算去除了文章的长短差异),根据这个集合,生成两个文章的代表向量,每个元素是TF-IDF值,最后就用余弦相似性进行运算。

猜你喜欢

转载自blog.csdn.net/qq_29367075/article/details/108858699