统计学习方法读书笔记（十）-隐马尔可夫模型

全部笔记的汇总贴：统计学习方法读书笔记汇总贴

PDF免费下载：《统计学习方法（第二版）》

隐马尔可夫模型（hidden Markov model HMM）是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。

可以先看看这篇文章讲述的一些重点问题：白板推导系列笔记（十四）-隐马尔可夫模型

一、隐马尔科夫模型的基本概念

隐马尔可夫模型是关于时序的概率模型， 描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程。

$A,B,\pi$作称为隐马尔可夫模型的三要素。状态转移概率矩阵$A$与初始状态概率向量$\pi$确定了隐藏的马尔可夫链，生成不可观测的状态序列。观测概率矩阵$B$确定了如何从状态生成观测，与状态序列综合确定了如何产生观测序列。

• 齐次马尔可夫假设
• 观测独立假设

二、概率计算算法

• 直接计算法
• 前向算法
• 后向算法
  （具体的求解和公式推导在篇首给出的那篇文章中讲的十分详细）

三、学习算法

• 监督学习算法
• Baum-Welch算法（使用EM算法）

四、预测算法

• 近似算法
  优点是计算简单，其缺点是不能保证预测的状态序列整体是最有可能的状态序列，因为预测的状态序列可能有实际不发生的部分。

• 维特比算法
  用动态规划（dynamic programming）解隐马尔可夫模型预测问题，即用动态规划求概率最大路径（最优路径）。

下一章传送门：统计学习方法读书笔记（十一）-条件随机场