隐马尔可夫模型：状态序列估计问题

隐马尔可夫模型：状态序列估计问题（维特比算法）

维特比（Viterbi）算法用于求解HMM的第二个问题，即给定观察序列 $O = O_{1} O_{2} \cdots O_{T}$和模型 $\mu = (\mathbf{A}, \mathbf{B}, \mathbf{\pi})$，选择在一定意义下“最优”的状态序列 $Q = q_{1} q_{2} \cdots q_{T}$，使得该状态序列“最好地解释”观察序列。该问题的答案并不唯一，它取决于对“最优状态序列”的理解。一种理解是，使该状态序列中每一个状态都单独地具有最大概率，即使 $\gamma_{t}(i) = P(q_{t} = s_{i} | O; \mu)$最大。

根据贝叶斯公式，

$\begin{aligned} \gamma_{t}(i) & = P(q_{t} = s_{i} | O; \mu) \\ & = \frac{P(q_{t} = s_{i}, O; \mu)}{P(O; \mu)} \\ & = \frac{\alpha_{t}(i) \beta_{t}(i)}{\sum_{i = 1}^{N} \alpha_{t}(i) \beta_{t}(i)} \\ \end{aligned} \tag {6-19}$

则 $t$时刻的最优状态为

$\hat{q}_{t} = \argmax_{1 \leq i \leq N} \gamma_{t}(i)$

这种只考虑使每个状态的出现都单独达到最大概率而忽略状态序列中相邻两个状态之间关系的“最优状态序列”，可能导致相邻两个状态 $q_{t}$、 $q_{t + 1}$之间的转移概率为0，即 $a_{\hat{q}_{t}\hat{q}_{t + 1}} = 0$。因此，这种“最优状态序列”可能为非法序列。

通常，对“最优状态序列”的理解为：在给定模型 $\mu)$和观察序列 $O$的条件下，使条件概率 $P(Q | O; \mu)$最大的状态序列，即

$\hat{Q} = \argmax_{Q} P(Q | O, \mu) \tag {6-20}$

这种理解可避免“断序”问题。维特比算法运用动态规划搜索算法求解这种最优状态序列。

定义6-3（维特比变量 $\delta_{t}(i)$）：在 $t$时刻，HMM沿某一条路径到达状态 $s_{i}$，并输出观察序列 $O = O_{1} O_{2} \cdots O_{t}$的最大概率：

$\delta_{t}(i) = \max_{q_{1}, q_{2}, \cdots, q_{t - 1}} P(q_{1}, q_{2}, \cdots, q_{t - 1}, q_{t} = s_{i}, O_{1} O_{2} \cdots O_{t}; \mu) \tag {6-21}$

递归关系为：

$\delta_{t + 1}(i) = b_{i}(O_{t + 1}) \max_{j} \delta_{t}(j) a_{ji} \tag {6-22}$

为记录 $t$时刻，HMM通过哪一条概率最大的路径到达状态 $s_{i}$，维特比算法设置变量 $\psi_{t}(i)$保存路径， $\psi_{t}(i)$记录该路径上状态 $s_{i}$的前一个（ $t - 1$时刻）状态。

算法6-3（维特比算法，Viterbi algorithm）

1. 初始化

$\delta_{1}(i) = \pi_{i} b_{i}(O_{1}), \ 1 \leq i \leq N$

$\psi_{1}(i) = 0$

2. 归纳计算

$\delta_{t}(j) = b_{j}(O_{t}) \max_{1 \leq i \leq N} \delta_{t - 1}(i) a_{ij}, \ 2 \leq t \leq T, 1 \leq j \leq N$

记忆回溯路径：

$\psi_{t}(i) = \argmax_{1 \leq i \leq N} \delta_{t - 1}(i) a_{ij}$

3. 终结

$\hat{Q}_{T} = \argmax_{1 \leq i \leq N} \delta_{T}(i)$

$\hat{P}(\hat{Q}_{T}) = \max_{1 \leq i \leq N} \delta_{T}(i)$

4. 路径（状态序列）回溯：

$\hat{q}_{t} = \psi_{t + 1}(\hat{q}_{t + 1}), \ t = T - 1, T - 2, \cdots, 1$

维特比算法的计算时间复杂度为 $\mathcal{O}(N^{2}T)$。实际应用中，通常搜索 $n$个最佳（ $n$-best）路径，因此，格架的每个结点上需要记录 $m$个最佳（ $m$-best， $m \lt n$）状态。