维特比算法相当于用-log(p(每个单词的概率))把生成所有可能的分割和选择最好的分割(可以用语言模型)两步合成了一步,而且降低了算法的复杂度
其中,p(每个单词的概率)=一本书中词的频率/总词数 (最好先人工分词)
中文分词之维特比算法(将分词问题转化为最短路径问题)
猜你喜欢
转载自blog.csdn.net/qq_41228218/article/details/103805278
今日推荐
周排行