统计学习方法笔记（十四）隐马尔可夫模型（一）

隐马尔可夫模型

隐马尔可夫模型是应用于标记问题的统计学模型，其描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。

基本概念

一、定义
隐马尔可夫模型：是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机的生成不可预测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。
隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定，其形式定义如下：
设Q是所有可能状态的集合，V是所有可能的观测的集合。
$Q = \{ {q_1},{q_2}, \cdots ,{q_N}\} ,\;V = \{ {v_1},{v_2}, \cdots ,{v_M}\}$
其中，N是可能的状态数，M是可能的观测数。
I是长度为T的状态序列，O是对应的观测序列。
$I = ({i_1},{i_2}, \cdots ,{i_T}),\;\;\;\;O = ({o_1},{o_2}, \cdots ,{o_T})$
A是状态转移概率矩阵：$A = {[{a_{ij}}]_{N \times N}}$
其中，${a_{ij}} = P({i_{t + 1}} = {q_j}|{i_t} = {q_i}),\;\;\;i = 1,2, \cdots ,N;j = 1,2, \cdots ,N$
B是观测矩阵：$B = {[{b_j}(k)]_{N \times N}}$
其中，${b_j}(k) = P({o_t} = {v_k}|{i_t} = {q_j}),\;\;\;k = 1,2, \cdots ,M;j = 1,2, \cdots ,N$
初始状态概率向量为$\pi = ({\pi _i})$
其中，${\pi _i} = P({i_1} = {q_i}),\;\;\;i = 1,2, \cdots ,N$
有了以上的定义，我们可以说，隐马尔可夫模型由初始状态概率向量，状态转移概率矩阵A和观测概率矩阵B决定，即：$\lambda = (A,B,\pi )$
状态转移概率矩阵与初始状态概率向量确定了隐藏的马尔可夫链，生成了不可预测的状态序列，观测概率矩阵B确定了如何从状态生成观测，与状态序列综合确定了如何产生观测序列。
从定义可知，隐马尔可夫模型做了两个基本的假设：
（1）齐次马尔可夫假设：隐藏的马尔可夫链在任意时刻t的状态只依赖其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻t无关
（2）观测独立性假设：任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他观测及状态无关。
二、观测序列的生成
输入：$\lambda = (A,B,\pi )$
输出：$O = ({o_1},{o_2}, \cdots ,{o_T})$
（1）按照初始状态分布产生状态i
（2）令t=1
（3）按照状态$i_t$ 的观测概率分布生成$o_t$
（4）按照状态$i_t$ 的状态转移概率分布生成状态${i_{t + 1}}$
（5）令t=t+1；如果$t < T$，转到（3），否则停止
三、隐马尔可夫模型的基本问题
1、概率计算问题：规定模型与观测序列，计算在模型下某个观测出现的概率
2、学习问题：已知观测序列，估测模型参数
3、预测问题：已知模型和观测序列，求最有可能的对应的状态序列