Python3功能篇七:如何计算两个中文语句的相似度?

记录一下,方便以后翻阅~
开发环境:PyCharm2019.2.3 社区版
Python版本:3.8

主要代码如下:

# -*- coding: utf-8 -*-
# 作者:闲人Ne
# 格言:学到就要教人,赚到就要给人
# 描述:计算两个中文语句的相似度,这里给出四种方法
# 日期: 2020年12月09日
import jieba                  # jieba分词
import difflib                # 方法一:Python自带标准库计算相似度的方法,可直接用
from fuzzywuzzy import fuzz   # 方法二:Python自带标准库计算相似度的方法,可直接用
import numpy as np
from collections import Counter

# 方法三:编辑距离,又称Levenshtein距离
def edit_similar(str1, str2):   # str1,str2是分词后的标签列表
    len_str1 = len(str1)
    len_str2 = len(str2)
    taglist = np.zeros((len_str1+1, len_str2+1))
    for a in range(len_str1):
        taglist[a][0] = a
    for a in range(len_str2):
        taglist[0][a] = a
    for i in range(1, len_str1+1):
        for j in range(1, len_str2+1):
            if(str1[i - 1] == str2[j - 1]):
                temp = 0
            else:
                temp = 1
            taglist[i][j] = min(taglist[i - 1][j - 1] + temp, taglist[i][j - 1] + 1, taglist[i - 1][j] + 1)
    return 1-taglist[len_str1][len_str2] / max(len_str1, len_str2)

# 方法四:余弦相似度
def cos_sim(str1, str2):        # str1,str2是分词后的标签列表
    co_str1 = (Counter(str1))
    co_str2 = (Counter(str2))
    p_str1 = []
    p_str2 = []
    for temp in set(str1 + str2):
        p_str1.append(co_str1[temp])
        p_str2.append(co_str2[temp])
    p_str1 = np.array(p_str1)
    p_str2 = np.array(p_str2)
    return p_str1.dot(p_str2) / (np.sqrt(p_str1.dot(p_str1)) * np.sqrt(p_str2.dot(p_str2)))
 
# 举例说明
str1 = "现在什么时候了"
str2 = "什么时候了现在"
str11 = jieba.lcut(str1)
str22 = jieba.lcut(str2)
print('str1=' + str1)     # jieba分词后
print('str2=' + str2)     # jieba分词后
diff_result = difflib.SequenceMatcher(None, str1, str2).ratio()
print('方法一:Python标准库difflib的计算分值:' + str(diff_result))
print('方法二:Python标准库fuzz的计算分值:' + str(fuzz.ratio(str1, str2)/100))
print('方法三:编辑距离的计算分值:' + str(edit_similar(str11, str22)))
print('方法四:余弦相似度的计算分值:' + str(cos_sim(str11, str22)))

# 备注,一般采用几种方法,给每个方法配个权重,算总分,这样比较好!

# —————— Copyright (C)2020 闲人Ne. All Rights Reserved —————— END OF FILE —————— #

运行结果如下:
在这里插入图片描述
课后作业,怎么让运行结果的红色字体不显示?

猜你喜欢

转载自blog.csdn.net/Leisure_ksj/article/details/110927396
今日推荐