目录
一、隐形马尔科夫模型
（1）马尔科夫假设：
（2）隐形马尔科夫模型
由一个隐含的状态，即一个典型的马尔科夫链和独立输出假设组成
（3）公式推导
其中
（4）举例——通信的解码问题
利用贝叶斯公式把上式转化为：
一旦
注意本例子是要求解这个公式的最大值，接下来可以使用维特比算法来计算最大值。
（5）关于隐形马尔科夫模型的三个基本问题和训练问题
5.1 三个问题
5.2 对应的解决方法
1. Forward-Backward算法
2. 维特比算法
3. 模型训练问题，5.3节详细讨论。
5.3 隐形马尔科夫模型的训练问题
如果直接根据人工标注的数据来训练，那么就是有监督的训练方法（Supervised Training）
在有些情况下做不到，所以
二、统计语言模型的工程诀窍
（1）基础知识
不管是机器翻译还是语音识别，都可以用到以下的诀窍：
利用一个简单的统计模型解决这个问题，贾里尼克的出发点就是“一个句子是否合理，就看他的可能性大小如何，至于可能性就用概率来衡量”
根据条件概率：
根据马尔科夫模型：
具体计算方式：（根据大数定理）
（2）解决零概率问题——古德-图灵估计
统计语言模型的零概率问题无法避免：
具体的公式见书P35
三、贝叶斯网络
1. 基础信息
贝叶斯网络是有向图
，
2. 贝叶斯网络的训练
2.1 结构训练
2.2 参数训练——EM？最大熵？
四、条件随机场
五、EM算法
用了一个类似于“KD树”的例子来说了EM算法，很简单。