一、语言模型
旨在：给一个句子或一组词计算一个联合概率
作用：
- 机器翻译：用以区分翻译结果的好坏
- 拼写校正：某一个拼错的单词是这个单词的概率更大，所以校正
- 语音识别：语音识别出来是这个句子的概率更大
- 总结或问答系统
相关任务：在原句子的基础上，计算一个新词的条件概率
，该概率与P(w1w2w3w4w5)息息相关。
任何一个模型计算以上两个概率的，我们都称之为语言模型LM。
二、如何计算概率
方法：依赖概率的链式规则
从而有：
问题：如何预估这些概率
方法一：计数和细分
但是不可能做到！
原因：句子数量过于庞大；永远不可能有足够的数据来预估这些（语料库永远不可能是完备的）
方法二：马尔可夫假设
或者：
即：
所以：
三、马尔可夫模型
1. Unigram model
其假设词是相互独立的
2. Bigram model
3. N-gram models
但是并不有效，因为语言本身存在长距离依存关系
比如"The computer which ......crashed" 单词crash本身其实是依赖于主语computer的，但是中间隔了一个很长的从句，在马尔可夫模型中就很难找到这样的依存关系
但是在实际应用中，发现N-gram可以一定程度上解决这个问题