[ML-13-2 ]隠れマルコフモデルHMM- 前方および後方アルゴリズム
[ML-13-3 ]隠れマルコフモデルHMM--Baum-Welch (バウムウェルチ)
[ML-13-4 ]隠れマルコフモデルHMM-- 予測問題のビタビ(ビタビ)アルゴリズム
ディレクトリ
- 基本-HMM共通確率の計算
- HMMの最も可能性の高い非表示状態シーケンス近似アルゴリズム
- ビタビアルゴリズム
- ビタビアルゴリズムの例
HMMモデルの最後の問題の解決策:所定の観測シーケンスで発生する可能性が最も高い対応する隠れた状態シーケンスを見つけます。つまり、モデルλ=(A、B、π)と観測シーケンスQ = {q1、q2、...、qT}が与えられた場合、観測シーケンスの最大条件付き確率P(I | Q、λ)をもつ隠れた状態を見つけます。シーケンス I。この記事を読む前に、このシリーズの最初の記事を読んで、HMMモデルに慣れることをお勧めします。
HMMモデルの復号化問題で最も一般的に使用されるアルゴリズムはビタビアルゴリズムですが、この問題を解決できるアルゴリズムは他にもあります。同時に、ビタビアルゴリズムは、シーケンス内の最短経路を見つけるための一般的な動的プログラミングアルゴリズムであり、テキストマイニングの単語分割原理など、他の多くの問題にも使用できます。
このペーパーでは、ビタビアルゴリズムを使用したHMMデコードの最も可能性の高い隠れた状態シーケンスに焦点を当てています。
まず、基本的な- HMM 共通の確率を計算します
前方確率と後方確率を使用して、HMMの単一の状態と2つの状態の確率式を計算できます。
1.1 単一の状態の確率
モデルλと観測シーケンスQが与えられた場合、時間tで状態siになる確率は次のように記述されます。
単一の状態確率の有意性は、主に各瞬間で最も可能性の高い状態を判断するために使用されるため、最終的な予測結果として状態シーケンスを取得できます。
前方確率と後方確率の定義を使用して、次のことを知ることができます。
上記の2つの式から:
1.2 2つの状態の同時確率
モデルλと観測シーケンスQが与えられた場合、時間tで状態siになり、時間t + 1で状態sjになる確率は、次のように記述されます。
1.3 上記の2つの合計を取得できます。
2. HMMの最も可能性の高い隠された状態シーケンス近似アルゴリズム
HMMモデルの復号化問題では、モデルλ=(A、B、Π)と観測シーケンスが与えられ、最も可能性の高い対応する状態シーケンスI = {i1、i2、..を見つけます。 .iT}、つまり、P(I | Q)を最大化する必要があります。各時刻tで直接可能な最良の状態が最終的な予測状態として使用され、確率値は次の式を使用して計算されます。
前方と後方から得られる上記の式の確率を最大化する値を満たす必要があるだけです。
近似アルゴリズムは非常に単純ですが、予測された状態シーケンスの隣接する隠れた状態の遷移確率が0になる可能性があるため、予測された状態シーケンスが全体として最も可能性の高い状態シーケンスであるとは限りません。
ビタビアルゴリズムは、近似アルゴリズムの問題を回避するために、HMM状態シーケンス全体を考慮することができます。HMM復号化のためのビタビアルゴリズムを見てみましょう。
3、Viterbi(ビタビ)アルゴリズム
ビタビアルゴリズムは、動的プログラミングのアイデアでHMM予測問題を実際に解決し、最も高い確率で「パス」を見つけます。各「パス」は状態シーケンスに対応します。
時間tでは、隠れた状態はすべての可能な状態遷移パスi1、i2、...の最大確率です。δt(i)として記録:
δの再帰的表現は、δt(i)の定義から取得できます。
時間Tでの最大のδT(i)を計算します。これは、最も可能性の高い隠れた状態シーケンスの確率です。
上記の式を最大にした後、最も可能性の高い隠れ状態シーケンスI ∗ = {i ∗ 1、i ∗ 2、... i ∗ T}
4つのビタビ(Viterbi)アルゴリズムの例
4.1 例
1、2、3の番号が付けられた3つのボックスがあるとします。各ボックスには、黒と白の小さなボールが装備されており、ボールの比率は次のとおりです。
次のルールに従って、置換されたボールが抽出され、ボールの色の観測シーケンスが取得されます。
- πの確率に従ってボックスを選択し、ボックスから小さなボールをランダムに抽出し、色を記録して、ボックスに戻します。
- 特定の条件付き確率に従って新しいボックスを選択し、操作を繰り返します。
- ようやく観測シーケンスを得た:「白黒と白白黒
- 状態セット:S = {ボックス1、ボックス2、ボックス3}
- 観測セット:O = {白、黒}
- 状態シーケンスと観測シーケンスの長さT = 5
- 初期確率分布π
- 状態遷移確率行列A
- 観測確率行列B
パラメータπ、A、Bを指定すると、観測シーケンスは「白、黒、白、白、黒」となり、最適な隠れ状態シーケンスが得られます。
4.2 計算プロセス
最終的なボックスシーケンスは次のとおりです:(2、3、2、2、3)