kenlm python模块详解
1.导入模型
import kenlm
model= kenlm.LanguageModel("a.bin")
a.bin 是训练的统计语言模型
- 1
- 2
- 3
2.打分
1. ** model.score()函数**
score=model.score(sentence, bos=True, eos=True)
sentence：如果句子是汉语，那么需要将句子分词
bos,eos：句子的开头和结尾加上标记
model.score():是log(p(sentence)),p(sentence)是0-1之间的数值，取对数（底数是10）之后，为负数，p(sentence)越大越好，取对数之后仍是越大越好
- 1
- 2
- 3
- 4
2. ** model.full_scores()函数**
total=0.0
for score, _, _ in model.full_scores(sentence,bos=True, eos=True):
total+=score
total的结果和model.score()得分是相同的
total==model.score(sentence,bos=True, eos=True)
sentence:同上
bos,eos: