统计学习方法——第10章 隐马尔可夫模型(个人笔记)
参考《统计学习方法》(第二版)李航
10.1 隐马尔可夫模型的基本概念
10.1.1 隐马尔可夫模型的定义
定义10.1(隐马尔可夫模型)
隐马尔科夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测从而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态序列,称为状态序列(state sequence);每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列(observation sequence)。序列的每一个位置又可以看作是一个时刻。
隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。隐马尔科夫模型为:
设Q是所有可能的状态的集合,V是所有可能的观测的集合:
其中,N是可能的状态数,M是可能的观测数。
I是长度为T的状态序列,O是对应的观测序列:
A是状态转移概率矩阵:
其中,
是在时刻t处于状态qi的条件下在时刻t+1转移到qj的概率。
B是观测概率矩阵:
其中,
是在时刻t处于状态qj的条件下生成观测vk的概率。
是初始状态概率向量:
其中,
是时刻t=1处于状态qi的概率。
隐马尔可夫模型由初始状态概率向量、状态转移概率矩阵A和观测概率矩阵B决定。
和A决定状态序列,B决定观测序列。因此,隐马尔科夫模型为
A,B,为隐马尔科夫模型三要素。
例子
10.1.2 观测序列的生成过程
算法10.1 (观测序列的生成)
输入:隐马尔可夫模型,观测序列长度T;
输出:观测序列。
(1)按照初始状态分布产生状态;
(2)令t=1;
(3)按照状态的观测概率分布生成;
(4)按照状态的状态转移概率分布产生状态,
(5)令t=t+1;如果t<T,转步(3);否则,终止。
10.1.3 隐马尔可夫模型的3个基本问题
(1)概率计算问题。给定模型和观测序列
,计算在模型下观测序列O出现的概率。
(2)学习问题。已知观测序列和估计模型参数,使得最大。即用极大似然估计的方法估计参数。
(3)预测问题,也称为解码问题。 已知观测序列和估计模型参数,对给定观测序列条件概率最大的状态序列。