文章目录
1.根据向量
1.1 embedding层介绍
做nlp很多时候要用到嵌入层，pytorch中自带了这个层，那么什么是embedding层？
用最通俗的语言讲就是在nlp里，embedding层就是句子、词转为向量，比如把单词表[‘你’，‘好’，‘吗’]
编码成
‘你’ --------------[0.2,0.1]
‘好’ --------------[0.3,0.2]
‘吗’ --------------[0.6,0.5]
为什么要embedding？
简而言之就是one-hot编码太占地方了!!!
详细介绍传送门
pytorch里的embedding层文档：官方文档
pytorch的embedding层的参数理解：
torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2，scale_grad_by_freq=False, sparse=False)
num_embeddings：嵌入字典的大小（词的个数）；
embedding_dim：每个嵌入向量的大小；
padding_idx：若给定，则每遇到 padding_idx 时，位于 padding_idx 的嵌入向量（即 padding_idx 映射所对应的向量）为0；
max_norm：若给定，则每个大于 max_norm 的数都会被规范化为 max_norm；
norm_type：为 max_norm 计算 p-范数的 p值；
scale_grad_by_freq：若给定，则将按照 mini-batch 中 words 频率的倒数 scale gradients；
sparse：若为 True，则 weight 矩阵将是稀疏张量。
输入：含有待提取 indices 的任意 shape 的 Long Tensor；
输出：输出 shape =（，H），其中 * 为输入的 shape，H = embedding_dim（若输入 shape 为 NM，则输出 shape 为 NMH）；
torch.nn.Embedding 的权重为 num_embeddings * embedding_dim 的矩阵，例如输入10个词，每个词用3为向量表示，则权重为10\times 3的矩阵；
参考传送门
代码解释：
>>> # an Embedding module containing 10 tensors of size 3
>>> embedding = nn.Embedding(10, 3)
>>> # a batch of 2 samples of 4 indices each
>>> input = torch.LongTensor([[1,2,4,5],[4,3,2,9]])
>>> embedding(input)
tensor([[[-0.0251, -1.6902, 0.7172],
[-0.6431, 0.0748, 0.6969],
[ 1.4970, 1.3448, -0.9685],
[-0.3677, -2.7265, -0.1685]],
[[ 1.4970, 1.3448, -0.9685],
[ 0.4362, -0.4004, 0.9400],
[-0.6431, 0.0748, 0.6969],
[ 0.9124, -2.3616, 1.1151]]])
>>> # example with padding_idx
>>> embedding = nn.Embedding(10, 3, padding_idx=0)
>>> input = torch.LongTensor([[0,2,0,5]])
>>> embedding(input)
tensor([[[ 0.0000, 0.0000, 0.0000],
[ 0.1535, -2.0309, 0.9315],
[ 0.0000, 0.0000, 0.0000],
[-0.1655, 0.9897, 0.0635]]])
a = torch.LongTensor([0])
embedding = torch.nn.Embedding(2, 5)
b = embedding(a)
b
Out[29]: tensor([[1.7931, 0.5004, 0.3444, 0.7140, 0.3001]], grad_fn=<EmbeddingBackward>)
import torch
from torch import nn
input = torch.LongTensor([[1, 2, 6, 4], [5, 6, 7, 8]])
em = nn.Embedding(10, 3, padding_idx=6)
output = em(input)
print("output:",output)
print("output.shape:",output.shape)
print("em.weight.shape:",em.weight.shape)
结果如下：
可以看出 “6” 所对应映射的向量被填充了0。
1.2 相似度计算
1.2.1 字面距离相似度度量
1.2.2 语义相似性
2. 一些简单方法
2.1 编辑距离
编辑距离，英文叫做 Edit Distance，又称 Levenshtein 距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数，
如果它们的距离越大，说明它们越是不同。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。
例如我们有两个字符串：string 和 setting，如果我们想要把 string 转化为 setting，需要这么两步：
第一步，在 s 和 t 之间加入字符 e。
第二步，把 r 替换成 t。
所以它们的编辑距离差就是 2，这就对应着二者要进行转化所要改变（添加、替换、删除）的最小步数。
安装：pip3 install distance
import distance
str1 = "公司地址是哪里"
str2 = "公司在什么位置"
def edit_distance(s1, s2):
return distance.levenshtein(s1, s2)
print(edit_distance(str1, str2))
想要获取相似的文本的话可以直接设定一个编辑距离的阈值来实现，如设置编辑距离为 2
def edit_distance(s1, s2):
return distance.levenshtein(s1, s2)
strings = [
'你在干什么',
'你在干啥子',
'你在做什么',
'你好啊',
'我喜欢吃香蕉'
]
target = '你在干啥'
results = list(filter(lambda x: edit_distance(x, target) <= 2, strings))
print(results)
# ['你在干什么', '你在干啥子']
2.2 杰卡德系数计算
杰卡德系数计算
杰卡德系数，英文叫做 Jaccard index, 又称为 Jaccard 相似系数，用于比较有限样本集之间的相似性与差异性。Jaccard 系数值越大，样本相似度越高。
实际上它的计算方式非常简单，就是两个样本的交集除以并集得到的数值，当两个样本完全一致时，结果为 1，当两个样本完全不同时，结果为 0。
算法非常简单，就是交集除以并集，下面我们用 Python 代码来实现一下：
from sklearn.feature_extraction.text import CountVectorizer
import numpy as np
def jaccard_similarity(s1, s2):
def add_space(s):
return ' '.join(list(s))
# 将字中间加入空格
s1, s2 = add_space(s1), add_space(s2)
# 转化为TF矩阵
cv = CountVectorizer(tokenizer=lambda s: s.split())
corpus = [s1, s2]
vectors = cv.fit_transform(corpus).toarray()
# 获取词表内容
ret = cv.get_feature_names()
print(ret)
# 求交集
numerator = np.sum(np.min(vectors, axis=0))
# 求并集
denominator = np.sum(np.max(vectors, axis=0))
# 计算杰卡德系数
return 1.0 * numerator / denominator
s1 = '你在干嘛呢'
s2 = '你在干什么呢'
print(jaccard_similarity(s1, s2))
2.3 Word2Vec 计算
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，可以将每一个词转换为向量，word2vec 有很详细的介绍如下：
详细介绍传送门
下面使用余弦相似度来计算其相似度：
Word2Vec的词向量模型是训练的维基百科的中文语库，这里模型有250维和50维，向量维度越大模型越大，计算越复杂，正常使用时，需要小的模型，发现50维的也差不多，训练模型方式和模型下载请参考：之前文章。
流程：
01、对句子进行拆词：Python提供了很对可用库，自行选择
02、去除无用的分词：删除没用的语气词等，为的是减少对计算句子平均词向量的影响
03、计算句子平均词向量：使用用AVG-W2V，计算句子平均词向量，所以02步尤为重要
04、余弦相似度：
余弦相似度 np.linalg.norm(求范数)（向量的第二范数为传统意义上的向量长度
dist1=float(np.dot(vec1,vec2)/(np.linalg.norm(vec1)*np.linalg.norm(vec2)))
然后打算开始代码时，pip install word2vec出了问题，以后再解决。。。：
这里我们可以直接下载训练好的 Word2Vec 模型，模型的链接地址为：https://pan.baidu.com/s/1TZ8GII0CEX32ydjsfMc0zw，是使用新闻、百度百科、小说数据来训练的 64 维的 Word2Vec 模型，数据量很大，整体效果还不错，我们可以直接下载下来使用，这里我们使用的是 news_12g_baidubaike_20g_novel_90g_embedding_64.bin 数据，然后实现 Sentence2Vec，代码如下：
import gensim
import jieba
import numpy as np
from scipy.linalg import norm
model_file = './word2vec/news_12g_baidubaike_20g_novel_90g_embedding_64.bin'
model = gensim.models.KeyedVectors.load_word2vec_format(model_file, binary=True)
def vector_similarity(s1, s2):
def sentence_vector(s):
words = jieba.lcut(s)
v = np.zeros(64)
for word in words:
v += model[word]
v /= len(words)
return v
v1, v2 = sentence_vector(s1), sentence_vector(s2)
return np.dot(v1, v2) / (norm(v1) * norm(v2))
在获取 Sentence Vector 的时候，我们首先对句子进行分词，然后对分好的每一个词获取其对应的 Vector，然后将所有 Vector 相加并求平均，这样就可得到 Sentence Vector 了，然后再计算其夹角余弦值即可。
调用示例如下：
s1 = '你在干嘛'
s2 = '你正做什么'
vector_similarity(s1, s2)
输出：
0.6701133967824016
strings = [
'你在干什么',
'你在干啥子',
'你在做什么',
'你好啊',
'我喜欢吃香蕉'
]
target = '你在干啥'
for string in strings:
print(string, vector_similarity(string, target))
输出：
你在干什么 0.8785495016487204
你在干啥子 0.9789649689827049
你在做什么 0.8781992402695274
你好啊 0.5174225914249863
我喜欢吃香蕉 0.582990841450621
可以看到相近的语句相似度都能到 0.8 以上，而不同的句子相似度都不足 0.6，这个区分度就非常大了，可以说有了 Word2Vec 我们可以结合一些语义信息来进行一些判断，效果明显也好很多。
所以总体来说，Word2Vec 计算的方式是非常好的。
另外学术界还有一些可能更好的研究成果，这个可以参考知乎上的一些回答：https://www.zhihu.com/question/29978268/answer/54399062。
以上便是进行句子相似度计算的基本方法和 Python 实现，本节代码地址：https://github.com/AIDeepLearning/SentenceDistance。