学部3〜4回HMM、機械学習のレッスンレッスン自然言語処理、中国の情報処理クラス;今、この古い知人に自然言語処理、およびRANを卒業。

出会い多く、しかし、常に少し知識を感じましたが、彼らの理解が包括的に十分ではありません、この機会を通じて、私も気に遭遇した州の後、この有名なモデルに直接取得したいです。

概要

イントロダクションと背景モデル
- 確率マップから開始します
- ベイジアンネットワーク、マルコフモデル、マルコフ過程、マルコフネットワーク、症例報告書
HMM正式な表現
- 正式な表現のマルコフモデル
- HMM正式な表現
- 二つの基本的な仮定HMM
HMMの三つの基本的な質問
Evalution
ラーニング
デコーディング
ケース

ノート

I.はじめと背景モデル

1.1確率マップからスタート

　　複雑な問題に直面して、「マップ」は、関連するエンティティ確率の端部に取り付けられた場合、それがさらにある点のみとエンティティと制約との間の複雑な関連を表現することができる株を用いて、効果的なツールでありますネクタイとエンティティ間の関係の強さの論理式。

　　機械学習の分野に特化は、確率的グラフィカルモデルは、クラス、特性、および機能、カテゴリおよびカテゴリ間の図の理論的特性との依存関係によって表されます。図「を意味するためにそれを使用しての配布に関連した同時確率モデル変数本質的に」とは、ある数式モデル（生成モデル）。

　　実際の問題の場合には、確率的グラフィカルモデルは、観測ノードと観測データを知識とデータの関係を記述するためにそれぞれの側で、隠されたノードとの潜在的な知識を表し、そして最終的に、このグラフは基づいて取得することを示し確率分布、データに隠された知識へのアクセスが良好。

　　確率マップ点をノードと隠れノード観察に分割され、それはまた、エッジと無向エッジにエッジに分割されています。両側に応じて、確率的グラフィカルモデルを分けることができるベイジアンネットワークとマルコフネットワーク二つのカテゴリーに。

　　我々はHMM紹介する前に、区別するために簡単に、それに関連する概念を整理します。

1.2ベイジアンネットワーク、マルコフモデル、マルコフ過程、マルコフランダムフィールド、症例報告書

　　マルコフに関連する概念があり、多くは、以前の研究では、ある論理チェーンの開始から確率マップを探索するために、今日も断片化された知識は、良いが、一緒に上からの誰もがこの知識を統合します次のターンを読んで、あなたは理解することができるはずです。

2つのランダム変数は独立していない場合、ランダムな変数としてノードは、両方の一の側に接続されたランダム変数の数を与えられた場合、に形成されている確率マップ。
ネットワークは、非循環有向グラフである場合、このネットワークは、呼び出されるベイジアンネットワーク。
図縮退方法の線形鎖は、与える場合マルコフモデルを、各ノードは、時間（または空間）などの変更を関連付けられてそれぞれが確率変数であるので、確率的プロセスの観点は、それを見ることができますマルコフ過程。各状態の遷移がnに依存するが、それ以前の状態である場合、プロセスは呼ばれるN次マルコフ過程。最も典型的な例はの導入である[nグラムマルコフの仮定、モデルの各状態すなわち、それはN-1次マルコフ過程である前の状態のみに依存]。
しかし、マルコフモデルは正確な毎朝のように、我々は問題を扱うモデルを記述することはできません、私たちすることができます歩行者の服（観察状態）温度[今日]（暗黙の状態）を決定するための数は数がある[によって]、この未知のパラメータを持つマルコフプロセスが呼び出された隠れマルコフモデル（HMM）。
ネットワークが無向場合、無向グラフは、として知られているモデルであり、MRFまたはマルコフネットワーク。
前提は、特定の条件を与えられた場合、MRF、得られた研究する条件付確率場（CRF）を。注：CRFは、MRF（無向グラフ）を利用して、HMMは、ベイジアンネットワーク（有向グラフ）、同じ基本的な問題の両方実質的に同様の計算方法に基づいているが、基本的な考え方は、異なりますA。
条件付きランダムラベル付けした場合は、問題を解決し、ネットワークトポロジのさらなる条件が線形空港になって、得られる連鎖のCRF LINEAR。

　　システムの概念間の関係について、参照、関連する映像BステーションマスターUPをshuahuai008 、I JIOと非常に良いと述べました！

二、正式な表現の隠れマルコフモデル

　　上記では、我々は、関連する概念が体系的な博覧会ですしているが、我々はさらに、このセクションで説明されているの概念に焦点を当てる必要があります、我々はさらに見て、隠れマルコフモデルになりますモデル。

フォーマル2.1マルコフモデル表現

　　Aマルコフモデルは、Sは、状態の集合であり、三重（[S PI、A）、[Piは初期状態の確率であり、Aは、HMMの特定の意味で形式化された状態との間の遷移確率であります表現は、ディスプレイ上で、この中で、これのインスタンスを1つだけ導入されています。

HMMの2.2正式な表現

提供$ \ mathbb {Q}は= \ \ {\ mathbf {Q} _ {1}、\ mathbf {Q} _ {2}、\ cdots、\ mathbf {Q} _ {Q} \権利を\} $が残されていますすなわち、すべての可能な状態の集合、状態変数の値空間、$ \ mathbb {V} = \ \ {\ mathbf {V} _ {}を左1、\ mathbf {V} _ {2}、\ cdots、\。 mathbf {V} _ {V} \右\} $が可能なすべての観測値、すなわちのセットである観測された変数の値空間。添字Qが可能な状態の数であり、添字Vは、一般的なQ = Vに、可能な観測の数であります
提供$ \ mathbf {I} = \左（I_ {1}、I_ {2}、\ cdots、I_ {T} \右）$ 長さのTの状態シーケンス、$ \ mathbf {O} =左（\ O_ {1}、O_ {2 }、\ cdots、O_ {T} \右）$は、対応する観測シーケンスです。
- $ I_ {T}は、\ \で {1、\ cdots、Q \}が$ 状態変数を表す確率変数である$ \ mathbf {Q} _ { I_ {T}} $
- O_ $ {T} \で\ {1、\ cdots、V \} $は観測変数を表す確率変数である$ \ mathbf {V} _ { O_ {T}} $を
提供$ \ mathbf {A} $は、状態遷移確率行列であります

$ \ mathbf {A} = \開始\ [左{アレイ} {CCCC} {A_ {1,1}}＆{A_ {1,2}}＆{\ cdots}＆{A_ {1、Q}} \ \ {A_ {2,1}}＆{A_ {2,2}}＆{\ cdots}＆{A_ {2、Q}} \\ {\ vdots}＆{\ vdots}＆{\ vdots}＆{ \ vdots} \\ {A_ {Q 1}}＆{A_ {Q、2}}＆{\ cdots}＆{A_ {Q、Q}} \端{アレイ} \右] $

　　ここで、$ A_ {I、J} = P \左（I_ {Tを+ 1} = J |右I_ {T} = iは\）$は、時間tを表しである$ \ mathbf {Q} _ { I} $ 時刻t + 1での状態は、$ \ mathbf {Q} _ {に転送されるの下で J} $状態確率。

また、観測確率行列と呼ばれる$ \ mathbf {B} $放出マトリックスを、提供

$ \ mathbf {B} = \開始\ [左{アレイ} {CCCC} {B_ {1}（1）}・{B_ {1}（2）}・{\ cdots}＆{B_ {1}（V ）} \\ {B_ {2}（1）}・{B_ {2}（2）}・{\ cdots}＆{B_ {2}（V）} \\ {\ vdots}＆{\ vdots}＆ {\ vdots}＆{\ vdots} \\ {B_ {Q}（1）}・{B_ {Q}（2）}・{\ cdots}＆{B_ {Q}（V）} \端{アレイ} \右] $

　　前記$ B_ {J}（K） = P \左|、（O_ {T} = K I_ {T} = J \右）$を時間tが表す$ \ mathbf {Q} _ { I} $の状態観測変数生成する条件下で$ \ mathbf {V} _ { K} $の確率。

提供$ \ VEC {\ PI} = \左（\ pi_ {1}、\ pi_ {2}、\ cdots、\ pi_ {Q} \右）^ {T} $は、初期状態の確率分布、$ \ pi_あります{I} = P \左（ I_ {1} = I \右）$ $ T = 1の状態で$である$ \ mathbf {Q} _ { I} $ 確率。

上記の内容を定義した後、我々は、すなわち5タプル$ \ラムダ=（\ mathrm {Q}、\ mathrm {V}、\ mathrm {\パイ}で表される、正式なHMMモデルを定義することができる\ mathrm {}、\ mathrm {B}）$、$ \ mathbf {}、\ mathbf {B}、\ VEC {\ PI} $三つの要素が隠れマルコフモデルと呼ばれます。

状態遷移確率行列$ \ mathbf {A} $、初期状態確率ベクトル$ \ VECは{\ piは} $予測不可能な状態シーケンスを生成する、隠れマルコフ連鎖を決定しました。

観測行列行列$ \ mathbf {B} $状態変数から観測変数を生成する方法を決定し、状態シーケンス$ \ mathbf {I} $一緒に観測シーケンスを生成する方法を定義します。

2つの隠れマルコフモデル2.3基本的な仮定のチェーン

均質なマルコフの仮定は、また、状態の隠れマルコフ連鎖はいつでもそれだけに依存していることを制限され、歴史的前提として知られている前回の状態、すなわち状態や他の観察、とは何の関係もありません。

左$ P \（I_ {T} | I_ {T-1}、O_ {T-1}、\ cdots、I_ {1}、O_ {1} \右）= P \左（I_ {T} | I_ {T-1} \右）、\クワッドT = 1,2、\ cdots、T $

また、任意の点での観測値だけの時間に依存すること時間不変前提として知ら観察独立性の仮定、隠された状態、すなわち、関係なく、状態の及び他の観察：

$ P \左（O_ {T} | I_ {T}、O_ {T}、\ cdots、I_ {T-1}、O_ {T + 1}、I_ {T}、I_ {T-1}、O_ \クワッドT = 1,2、\ cdots、I_ {T} \右）| {T-1}、\ cdots、I_ {1}、O_ {1} \右）= P \は（O_ {T}を左T $

第三に、隠れマルコフの三つの基本的な質問

隠れマルコフモデルは、3つの基本的な疑問を解決することができます：

確率計算、またはと呼ばれる評価（Evoluation）：
- 与えられたモデル$ \ラムダ=（\ mathrm { Q}、\ mathrm {V}、\ mathrm {\パイ} \ mathrm {A} \ mathrm {B}）$ 、観察シーケンス$ \ mathbf {O} = \左（O_ {1}、 O_ {2}、\ cdots、O_ {T} \右）$、算出観察シーケンス$ \ mathbf {O} $の確率$ P（\ mathbf {O} | \ラムダ） $
- すなわち、アルゴリズムの前に、モデル評価するために使用される$ \ $ラムダと観察された配列$ \ mathbf {O} $の一致の程度を
- たとえば：最初の天気の日あって、隠れマルコフモデルの天候を考えると、天候の遷移確率行列、特定の湿度の気象葉の確率分布。第三の確率湿度の初日湿度葉を求めて、次の日湿度2,3
モデル建物の問題、すなわち、学習問題（学習）：
- 観察の既知の配列mathbf {O} = \ $ \左（O_ {1}、O_ {2}、\ cdots、O_ {T} \右）$、モデル評価は$ \ラムダ=（\ mathrm {得、Q}を\ mathrm {V}、\ mathrm {\パイ} \ mathrm {}、\ mathrm {B}）$ パラメータ、モデルの下になるように観察シーケンス確率$ P（\ mathbf {O} ; \ラムダ）$ 最大。
- パラメータを推定する最尤推定（EMアルゴリズム）を用いて、すなわち
- 例えば：既知の湿度の葉1、翌日湿度2、第3湿度の最初の日。最初の天気の日、天気の遷移確率行列、特定の湿度の気象葉の確率分布を含め、天候隠れマルコフモデルを入手します。
暗黙的な状態は問題を解決するために、その問題デコード（復号化）：
- 与えられたモデル$ \ラムダ=（\ mathrm {Q}、\ mathrm {V}、\ mathrm {\パイ} \ mathrm {A} \ mathrm {B}）$、観察シーケンス$ \ mathbf {O} = \左（O_ {1}、O_ {2}、\ cdots、O_ {T} \右）$、$ Pの所定の観測シーケンスを探しているの条件付き確率（\ mathbf {I}を| \ mathbf {O}）最大状態変数$配列$ \ mathbf {I} = \（I_ {1}、I_ {2}、\ cdots、I_ {T} \右）$左。
- 最も可能性の高い対応する配列のために与えられた観測系列のその状態。
- 例：音声認識タスクでは、音声信号が観測され、それは隠されたテキストです。音声信号の観測によると言葉の最も可能性の高いシーケンスを推測する：ターゲットデコーディングの問題がこれです。

四、Evolution

　　与えられたモデル$ \ラムダ=（\ mathrm { Q}、\ mathrm {V}、\ mathrm {\パイ} \ mathrm {A} \ mathrm {B}）$ 、観察シーケンス$ \ mathbf {O} = \左（O_ {1}、 O_ {2}、\ cdots、O_ {T} \右）$、算出観察シーケンス$ \ mathbf {O} $の確率$ P（\ mathbf {O} | \ラムダ） $

4.1単純なアプローチ

　　最も直接的な方法は、直接確率方程式に従って計算される状態のシーケンスに$ \ mathbf {I} = \左（I_ {1} Tのすべての可能な長さを列挙することにより、I_ {2}、\ cdots、I_ {T} \右）$、各状態シーケンスを求める$ \ mathbf {I}観察された配列と$ $ \ mathbf {O} = \左（O_ {1}、O_ {2}、\ cdots、O_ {T} \右）$同時確率の$ P（\ mathbf {O}、\ mathbf {I} | \ラムダ）$、$ P、その後、合計するすべての可能な状態（\ mathbf {O} | \ラムダ）$

　　次のように計算プロセスは、次のとおりです。

直接計算方法上記、時間の複雑さは、理論的には唯一の実行可能な、大きすぎると、実際の使用に入れることができません

アルゴリズムの前に4.2

　　アルゴリズムの前方性質は、動的プログラミングの概念の導入、計算された観察シーケンス$ \ mathbf {O} = \左（O_ {1}、O_ {2}、\ cdots、O_ {T} \右）$表示され発生確率の確率は$ 2 $ O_ T = 1 $ {1} $ $ \回$ $で$ O_に変換されるとき$ T = {2} $ $ \回$ ... $ \回$で発生$ T = {T} $ $ O_ T $の確率。

　　因此，定义前向概率，即：在时刻$t$的观测序列为$o_{1}, o_{2}, \cdots, o_{t}$，且隐状态为$q_{j}$的概率，记作：$\alpha_{t}(i)=P\left(o_{1}, o_{2}, \cdots, o_{t}, i_{t}=i ; \lambda\right)$；

　　而如果我们能从初始状态 递推得出最后一个时刻的前向概率，就可以估计出观测序列为$O$时的状态变量。

　根据定义， $\alpha_{t}(i)=P\left(o_{1}, o_{2}, \cdots, o_{t}, i_{t}=i ; \lambda\right)$是在时刻$t$观察到$o_{1}, o_{2}, \cdots, o_{t}$，且隐状态为$q_{j}$的概率。

　　如果 前向概率$\alpha_{t}(i)=P\left(o_{1}, o_{2}, \cdots, o_{t}, i_{t}=i ; \lambda\right)$$\times$状态转移概率$\alpha_{t}(j)$ ，则表示在观测变量不变的前提下，在时刻$t$的隐状态为$q_{j}$，且在时刻$t+1$的隐状态为$q_{i}$的概率。

隠れマルコフモデルHMM（隠れマルコフモデル）

概要

ノート