句子相似度比较的归一化

我们将不同长度的句子(预处理并分词之后的长度)直接做比较其实是不公平的,举个例子:

Sentence 1 =  长度为2

Sentence 2 = 长度为1

Sentence 3 = 长度为3

(在取相似词TOP4,exp=0.7,的情况下)

即便Sent2与Sent1词的组成完全不同,base_similarity=0.2513

同样的,Sent3与Sent1完全不同,       base_similarity=0.2063

长度长的词本身就处于劣势,所以我考虑在相似度的基础上,减去base_similarity,并加上一个常数(纯粹为了好看,不然我其实应该使用正态分布作归一化,这个后续做)

此外,exp取0.6是我在分析近义词的时候得到的,讲道理我应该统计得到TOP1 TOP2 TOP3...的平均值或者中位数,这个也后续做把。。。先用经验值替代

猜你喜欢

转载自www.cnblogs.com/yjybupt/p/9929362.html
今日推荐