第九章から始めて、我々は要約は異なる何かを学ぶ、セクション2-8で分類され、教師あり学習、教師なし学習のための第9章EMアルゴリズムに属します。このホワイトペーパーでは、アプリケーション・プロセスの概要であり、問題に対処し、EMアルゴリズムの原理が導き出されます。
EMアルゴリズム
EMアルゴリズム（期待値最大化アルゴリズムEMアルゴリズム）は、反復アルゴリズムです。我々は、確率モデルに直面している場合は、両方の変数を観察するだけでなく、含まれている隠された変数や潜在変数を。場合は確率モデルの変数がされた変数を観察し、その後、与えられたデータを直接使用することができる最尤推定法やモデルベイズ推定パラメータを、しかし、持つモデル時に隠された変数の時間は、あなたは単に、推定することはできませんので、この時点で、1977年、デンプスター、EMアルゴリズムの概要を提案者：E-工程：所望の（期待値）を見つける; Mステップ：最大値（最大化）を見つけます。
\ [入力：|、条件付き分布P（Z | Y、\シータ）データは、Y隠れ変数データZ、関節分布P（\シータY、Z）を変数を観察しました。\\出力：モデルパラメータ\シータ。\\（1）パラメータ\シータ^ {（0）}の初期値を選択し、反復が開始されます。\\（2）工程E **：**ノート\シータ^ {（I）} Iシータの第1の反復パラメータ\推定値のために、私は+ 1反復のEステップは、\\算出する\ {始まります整列} Q（\シータ、\シータ^ {（I）}）=＆E_Z \ビッグ[\のLN P（Y、Z | \シータ）| Y、\シータ^ {（I）} \大きな] \ =＆ \ sum_Z \ P LN（Y、Z | \シータ）P（Z | Y、\シータ^ {（I）}）\端{整列} \\ここで、P（Z | Y、\シータ^ {（I） }）指定された観測データYと隠れ変数Zデータの条件付き確率分布での電流パラメータ推定\シータ^ {（I）}です。\\（3）** Mステップ：**そのQ（\シータ、\シータ^ {（I）}）パラメータの推定値を決定する、\シータを最大I + 1回の反復\シータを見つけます^ { （I + 1）} \シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ} Q（\シータ、\シータ^ {（I）}）\\（4）繰り返しステップ（2）及び（3）ステップ、収束（収束条件まで：\シータ^ {（I）}と\シータ^ {（I + 1）} \\に近く、またはQ（\シータ^ {（I + 1）}、\シータ^ {（I）}）およびQ（\シータ^ {（I）}、\シータは、^ {（I-1）}））非常に近いです。関数Qは、（\シータ、\シータ^ {（i）は}）EMアルゴリズムの中核であり、Qの関数と呼ばれます。\]
導出
EMアルゴリズムは、前述したが、なぜEMアルゴリズムは、同様の観察に最尤推定値を達成することができますか？最大データ同様の問題尤度関数に観察された効果のおおよその数を解くことによって、以下のEMアルゴリズムを理解するためにEMアルゴリズムを導出します。
導出式で使用されます：
\ [ジェンソンの不等式：F（\ sum_i \ alpha_i X_I）\ geqslant \ sum_i \ alpha_i F（X_I）関数fは凸状である場合、次いで、\\凸関数は、対数関数であり、\ displaystyle \ sum_i \ alpha_i = 1、\ alpha_iは、重量で、0 \ leqslant \ alpha_i \ leqslant 1 \]
\ [第必要観測ベクトル\シータ、観測データY =（Y_1、Y_2、\ cdots、y_N）、隠れ変数Z =（Z_1、Z_2、\ cdots、Z_N）、\\ \シータを解くことがあり、尤度関数が\開始される{整列} L（\シータ）= \ P（Y | \シータ）LN（| \シータY、Z）\ = \ LN（\ sum_Z P（Z sum_Z P \ \ = \ LN | \シータ）P（Y | Z、\シータ））\端{整列} \\想定反復の後、私は\シータ^ {（I）}のシータ推定値を\、所望の新たな推定値\シータ缶L（\シータ）増加、すなわちL（\シータ）> L（\シータ^ {（I）}）、両者の差を計算することができる：\\ L（\シータ）-L（\シータ^ {（I ）}）= \ LN（\ sum_Z P（Z | \シータ）P（Y | Z、\シータ）） - \ LN P（Y | \シータ^ {（I）}）\\一般に、\ lnをP_1 P_2の\ cdotsは、より良い取引をP_Nが、それは、\のln \和P_1 P_2であれば、それはハードジェンソンズーム不平等で処理取り除か\和総和記号を、\\するために、対処します。\\上記フォーム、Z和のために、それalpha_iジェンソン不平等\を持ってする方法をハッシュ？\\それは密度関数のZ密度関数を考えることは容易である1に合計値、Zは、確率分布を構築する必要があります。\\ \開始{整列} L（\シータ）-L（\シータ^ {（I）}）= \ LN（\ sum_Z P（Z | \シータ）P（Y | Z、\シータ）） - \ LN P（Y | \シータ^ {（I）}）\\ = \ LN（\ sum_Z P（Z | Y、\シータ^ {（I）}）\ FRAC {P（Z | \シータ）P（Y | Z、\シータ）} {P（Z | Y、\シータ^ {（I）}）P（Y | \シータ^ {（I）}）} \\ \したがって、L（\シータ）\ geqslant B（\シータ、\シータ^ {（I）}）、\ \すなわちB（\シータ、\シータ^ {（i）は}）L（\シータ）であるL（\シータ）を最大にするために、下限であり、すなわちで、B（\シータ、\シータ^を{（最大化ⅰ）}）。\\ \開始{整列} \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ} B（\シータ、\シータ^ {（I）}）= \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Z | \シータ）P（Y | Z、\シータ）） \\ = \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Y、Z | \シータ））\端{整列} \\ \ displaystyle \なぜならQ（\シータ、\シータ^ {（I）}）= \ sum_Z \ P（Y、Z | \シータ）LN P（Z | Y、\シータ^ {（I）} ）\\ \ displaystyle \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ}（Q（\シータ、\シータ^ {（I）}））\\ （| Y、\シータ^ {（I）} Z）の\ LN P（Y、Z | \シータ）Mは、EMアルゴリズムのステップに相当し、Eステップは\ displaystyle \ sum_Z Pを見つけることと等価である、\\のための上記常に最大化されている対数尤度関数を解決するための下限近似値を最大解くことにより、EMアルゴリズムを取得します。\] \シータ^ {（I）}）、\\すなわちB（\シータ、\シータ^ {（I）}）は、L（\シータ）、すなわち、最大下限、L（\シータを最大にするために）でありますBの（\シータ、\シータ^ {（I）}）。\\ \開始{整列} \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ} B（\シータ、\シータ^ {（I）}）= \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Z | \シータ）P（Y | Z、\シータ）） \\ = \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Y、Z | \シータ））\端{整列} \\ \ displaystyle \なぜならQ（\シータ、\シータ^ {（I）}）= \ sum_Z \ P（Y、Z | \シータ）LN P（Z | Y、\シータ^ {（I）} ）\\ \ displaystyle \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ}（Q（\シータ、\シータ^ {（I）}））\\ （| Y、\シータ^ {（I）} Z）の\ LN P（Y、Z | \シータ）Mは、EMアルゴリズムのステップに相当し、Eステップは\ displaystyle \ sum_Z Pを見つけることと等価である、\\のための上記常に最大化されている対数尤度関数を解決するための下限近似値を最大解くことにより、EMアルゴリズムを取得します。\] \シータ^ {（I）}）、\\すなわちB（\シータ、\シータ^ {（I）}）は、L（\シータ）、すなわち、最大下限、L（\シータを最大にするために）でありますBの（\シータ、\シータ^ {（I）}）。\\ \開始{整列} \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ} B（\シータ、\シータ^ {（I）}）= \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Z | \シータ）P（Y | Z、\シータ）） \\ = \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Y、Z | \シータ））\端{整列} \\ \ displaystyle \なぜならQ（\シータ、\シータ^ {（I）}）= \ sum_Z \ P（Y、Z | \シータ）LN P（Z | Y、\シータ^ {（I）} ）\\ \ displaystyle \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ}（Q（\シータ、\シータ^ {（I）}））\\ （| Y、\シータ^ {（I）} Z）の\ LN P（Y、Z | \シータ）Mは、EMアルゴリズムのステップに相当し、Eステップは\ displaystyle \ sum_Z Pを見つけることと等価である、\\のための上記常に最大化されている対数尤度関数を解決するための下限近似値を最大解くことにより、EMアルゴリズムを取得します。\] \シータ^ {（I）}）。\\ \開始{整列} \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ} B（\シータ、\シータ^ {（I）}）= \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Z | \シータ）P（Y | Z、\シータ）） \\ = \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Y、Z | \シータ））\端{整列} \\ \ displaystyle \なぜならQ（\シータ、\シータ^ {（I）}）= \ sum_Z \ P（Y、Z | \シータ）LN P（Z | Y、\シータ^ {（I）} ）\\ \ displaystyle \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ}（Q（\シータ、\シータ^ {（I）}））\\ （| Y、\シータ^ {（I）} Z）の\ LN P（Y、Z | \シータ）Mは、EMアルゴリズムのステップに相当し、Eステップは\ displaystyle \ sum_Z Pを見つけることと等価である、\\のための上記常に最大化されている対数尤度関数を解決するための下限近似値を最大解くことにより、EMアルゴリズムを取得します。\] \シータ^ {（I）}）。\\ \開始{整列} \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ} B（\シータ、\シータ^ {（I）}）= \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Z | \シータ）P（Y | Z、\シータ）） \\ = \ mathop {\のarg \最大} \限界_ {\シータ}（\ sum_Z P（Z | Y、\シータ^ {（I）}）\のLN P（Y、Z | \シータ））\端{整列} \\ \ displaystyle \なぜならQ（\シータ、\シータ^ {（I）}）= \ sum_Z \ P（Y、Z | \シータ）LN P（Z | Y、\シータ^ {（I）} ）\\ \ displaystyle \従って\シータ^ {（I + 1）} = \ mathop {\のarg \最大} \限界_ {\シータ}（Q（\シータ、\シータ^ {（I）}））\\ （| Y、\シータ^ {（I）} Z）の\ LN P（Y、Z | \シータ）Mは、EMアルゴリズムのステップに相当し、Eステップは\ displaystyle \ sum_Z Pを見つけることと等価である、\\のための上記常に最大化されている対数尤度関数を解決するための下限近似値を最大解くことにより、EMアルゴリズムを取得します。\] \シータ^ {（I）}）の\ LN P（Y、Z | \シータ））\端{整列} \\ \ displaystyle \ Q（\シータ、^ {（I）}）= \ sum_Z \ \シータためLN P（Y、Z | \シータ）P（Z | Y、\シータ^ {（I）}）\\ \ displaystyle \従って\シータ^ {（I + 1）} = \ mathop {\のarg \マックス} \限界_ {\シータ}（Q（\シータ、\シータ^ {（I）}））\\ EMアルゴリズムのMステップに相当し、Eステップは\ displaystyle \ sum_Z P（Zを見つけることと等価である| Y、\シータ^ {（I）}）の\ LN P（Y、Z | \シータ）、\\ EMアルゴリズムは、上記最大解決対数尤度関数の最大下限近似値を求めることにより、得られます。\] \シータ^ {（I）}）の\ LN P（Y、Z | \シータ））\端{整列} \\ \ displaystyle \ Q（\シータ、^ {（I）}）= \ sum_Z \ \シータためLN P（Y、Z | \シータ）P（Z | Y、\シータ^ {（I）}）\\ \ displaystyle \従って\シータ^ {（I + 1）} = \ mathop {\のarg \マックス} \限界_ {\シータ}（Q（\シータ、\シータ^ {（I）}））\\ EMアルゴリズムのMステップに相当し、Eステップは\ displaystyle \ sum_Z P（Zを見つけることと等価である| Y、\シータ^ {（I）}）の\ LN P（Y、Z | \シータ）、\\ EMアルゴリズムは、上記最大解決対数尤度関数の最大下限近似値を求めることにより、得られます。\]
ガウス混合モデル学習におけるEMアルゴリズムの適用
ガウス混合モデル
\ [ガウス混合モデルは、形式の確率分布モデルを指す：\\ P（Y | \シータ）= \ sum_ {k = 1} ^ K \ alpha_k \ PHI（Y | \ theta_k）\\請求\ alpha_k （| \ theta_k y）はガウス分布密度は、\\\ theta_k =（\ mu_k、\ sigma_kある^係数は、\ displaystyle \ alpha_k \ geqslant 0、\ sum_ {k = 1} ^ K \ alpha_k = 1、\ PHIあります2）、\ PHI（Y | FRAC {1}は{\ SQRT {2 \ PI} \ sigma_k} \ EXP \左（\ \シータ）= - \ FRAC {（Y- \ mu_k）^ 2} {2 \ sigma_k ^ 2} \右）は、k番目のサブモデルと呼ばれます。\\、\\、観測値yを所定のY \ SIM N（\ MU、\シグマ^ 2）、ことができる、単純な一次元のランダム変数yを考慮ガウス混合モデルを導入通常ガウス分布であります\ \ミューおよび\シグマ^ 2を見つけることは容易ではなく、現在のyガウス分布から、\\そこ二つの異なるガウス分布N（\ mu_1、\ sigma_1 ^ 2）から一定の確率であり、N（ mu_2、\ sigma_2 ^ 2）、これは2つのガウス分布の混合で、yは\\、ガウス分布、そこからここに関与隠された変数を知りません。あなたは、次のような処理を行うことができます隠された変数を含むことが推定されたパラメータのために。ベクターで\\ \ガンマ表されるZ、もしZ = 1、次に\ガンマ=（1,0,0、\ cdots、0）、\\であればZ = 2、次いで\ガンマ=（0,1,0、 \ cdots、0）、これはワンホットに相当し、\\ i番目のガウス分布であり、zは、ガンマ1の\ i番目の成分で、他の成分はゼロです。\]
導出
クリア潜在変数は、完全なデータの尤度関数の数を書きます
\ [EMアルゴリズムは、と隠れ変数\ガンマ応じが\ gamma_1 =（\ gamma_ {11} \\、\ガンマyは最初の観察のためにガウス分布からの電流を表し、そこであり、\ gamma_ {12}、 \ cdots、\ gamma_ブックgamma_の\ {JK}に従って定義される{1K}）、A：\ gamma_ {JK} = \左\ {\ j番目、k番目のポイントから始まる{整列} 1、＆観察cdots、K上部分散ランダム変数は、最初の値をとり、K = 1、2、\; \\ 0、・そうでなければ\端{整列}右\\ J = 1,2 \ \ cdots、Nモデル撮影した\\二の\ alpha_2の確率値を、......、K値を取る確率は\ alpha_Kで、あなたは\ gamma_1値を知っていれば、我々はいくつかの最初のガウス分布から引き出されていることを知っている確率の\ alpha_1、 Y_1。= P（\ gamma_1 | \シータ）\ CDOT P（Y_1 | \ gamma_1、\シータ）\\ = \アルファ^ {\ gamma_ {11} | \\ \ {整列} P（\シータ\ gamma_1、Y_1）が始まります} 1 \ CDOT \アルファ^ {\ガンマ{12}} 2 \ cdots \アルファ^ {\ガンマ{1K}} K \ PHI（Y_1 | \ theta_1）^ {\ガンマ{11}} \ PHI（Y_2 | \ theta_2）^ {\ gamma_ {12}} \ cdots \ PHI（Y_1 | \ theta_K）^ {\ gamma_ {1K}} = \ prod_ {k = 1} ^ K [\ alpha_k \ PHI（Y_1 | \ theta_k）] ^ {\ gamma_ {1K}} \端{整列} \\これは、完全なデータサンプル密度関数の最初のポイントです。全てのサンプル点の同時分布を必要と尤度関数の最大値の最尤推定である、すべての\\、確率密度関数\\ P（Yのサンプル点、
関数Qを決定するために、EMアルゴリズムのEステップ
\ [隠れ変数はn_k \\ \ displaystyle \ので、E（n_k）= Eの\左（\ sum_j \ gamma_ {JK} \右）= \ E sum_j（所望の、隠れ変数\ gamma_ {JK}によって置換され\ gamma_ {JK}）、E（\ gamma_ {JK} | \シータ^ {（I）}、Y）= P（\ gamma_ {JK} = 1 | \シータ^ {（I）}、Y）、\ \、gamma_ {JK}分布P（\ gamma_ {JK} 1 = \知る必要がある前のステップ\シータ^ {（I）}と観測データをy_j全てに基づいて、望ましい解決| \シータ^ {（iは）}、Y）。\\ \開始{整列} \ので、P（\ gamma_ {JK} = 1 | \シータ^ {（I）}、Y）=＆\のFRAC {P（\ gamma_ {JK} = 1、y_j | \シータ^ {（I）}）} {P（y_j | \シータ^ {（I）}）} \\ =＆\のFRAC {P（\ gamma_ {JK} = 1、y_j | \シータ^ {（I）}） } {\ displaystyle \ sum_ {k = 1} ^ KP（\ gamma_ {JK} = 1、y_j | \シータ^ {（I）}）} \\ =＆\のFRAC {P（\ gamma_ {JK} = 1 | \シータ^ {（I）}）P（Y_I | \ gamma_ {JK} = 1、\シータ^ {（I）}）} {\ displaystyle \ sum_ {k = 1} ^ KP（y_j | \ gamma_ { JK} = 1、\シータ^ {（I）}）P（\ gamma_ {JK} = 1 | \シータ^ {（I）}）} \端{整列} \\ \ため\ alpha_k = P（\ gamma_ {JK} = 1つの| \シータ）、\ PHI（Y_I | \シータ）= P（Y_I | \ gamma_ {JK} = 1、\シータ）\\ \ displaystyle \従ってE（\ gamma_ {JK} | Y、\シータ^ {（I）}）= P（\ gamma_ {JK} = 1 | \シータ^ {（I）}、Y）= FRAC \ {\ alpha_k \ PHI（Y_I | \シータ^ {（I）} ）} {\ displaystyle \ sum_ {k = 1} ^ K \ alpha_k \ PHI（Y_I | \シータ^ {（I）}）}、\シータ^ {（I）} =（\ alpha_k ^ {（I） }、\ theta_k ^ {望ましいノート（I）}）\\ A \ gamma_ {JK}下で所与のY \シータ^ Z_k = E（\ gamma_ {JK}の{（I）}条件のため| Y \シータ^ {（I）}）、\\それは独立同一種々のサンプル間で分散され、そしてjはZ_k従って無関係であるからです。\\ \ displaystyle \したがってQ（\シータ、\シータ^ {（I）}）= E_Z \大きな| = \ sum_ {K [LN P（Y、\ガンマ\シータ^ {（I）}）大きな\] = 1} ^ K \は\を左{（N Z_k）\ LN \ alpha_k + Z_k \ sum_ {J = 1} ^ N [\ LN（\ FRAC {1}は{\ SQRT {2 \ PI}}） - \ LN \ sigma_k - FRAC {1} {2 \ sigma_k ^ 2}（y_j - \ mu_k）\ ^ 2]右\ \} \] \シータ^ {（I）}）、\\それは独立同一種々のサンプル間で分散され、そしてjはZ_k従って無関係であるからです。\\ \ displaystyle \したがってQ（\シータ、\シータ^ {（I）}）= E_Z \大きな| = \ sum_ {K [LN P（Y、\ガンマ\シータ^ {（I）}）大きな\] = 1} ^ K \は\を左{（N Z_k）\ LN \ alpha_k + Z_k \ sum_ {J = 1} ^ N [\ LN（\ FRAC {1}は{\ SQRT {2 \ PI}}） - \ LN \ sigma_k - FRAC {1} {2 \ sigma_k ^ 2}（y_j - \ mu_k）\ ^ 2]右\ \} \] \シータ^ {（I）}）、\\それは独立同一種々のサンプル間で分散され、そしてjはZ_k従って無関係であるからです。\\ \ displaystyle \したがってQ（\シータ、\シータ^ {（I）}）= E_Z \大きな| = \ sum_ {K [LN P（Y、\ガンマ\シータ^ {（I）}）大きな\] = 1} ^ K \は\を左{（N Z_k）\ LN \ alpha_k + Z_k \ sum_ {J = 1} ^ N [\ LN（\ FRAC {1}は{\ SQRT {2 \ PI}}） - \ LN \ sigma_k - FRAC {1} {2 \ sigma_k ^ 2}（y_j - \ mu_k）\ ^ 2]右\ \} \]
決定するためにEMアルゴリズムのMステップ
\ [変数を推定しなければならない\ alpha_k、\ sigma_k、\ mu_k、次いで偏導関数を0に等しく：{1} {アレイを}開始\\\ \ displaystyle \ FRAC {\部分Q（\シータ、\シータ^ {（ I）}）} {\部分の\ mu_k} = 0 \\ \ displaystyle FRAC {\ \部分Q（\シータ、\シータ^ {（I）}）} {\部分の\ sigma_k ^ 2} = 0 \\ \左\ {\開始{アレイ} {1} \ displaystyle \ FRAC {\部分Q（\シータ、\シータ^ {（I）}）} {\部分の\ alpha_k} = 0 \\ \和\ alpha_k = 1 \ 。端{アレイ}右\ \端{アレイ} \\上記式を導き出すことができる：\ {アレイ} {1} \ mu_k ^ {（I + 1）} = \ FRAC {\ displaystyle \ sum_ {J =始まります1} ^ N \帽子{\ gamma_ {JK}} y_j} {\ displaystyle \ sum_ {J = 1} ^ N \帽子{\ gamma_ {JK}}} \\（\ sigma_k ^ 2）^ {（I + 1）} = \ FRAC {\ displaystyle \ sum_ {J = 1} ^ N \帽子{\ gamma_ {JK}}（Y_I - \ mu_k）^ 2} {\ displaystyle \ sum_ {J = 1} ^ N \帽子{\ gamma_ {JK}}} \\ \ displaystyle \ alpha_k ^ {（I + 1）} = \ FRAC {n_k} {N} = \ FRAC {\ displaystyle \ sum_ {J = 1} ^ N \帽子{\ gamma_ {JK}}} {N} \\ \端{アレイ}、\のdisplaystyleの\帽子{\ gamma_ {JK}} = Eの\のgamma_ {JK}n_k = \ sum_ {J = 1} ^ NE \ gamma_ {JK}、k = 1,2、\ cdots、K \]
EMアルゴリズムを促進するために、
GEMアルゴリズム
\ [入力：観察、Q出力機能\\：\\モデルパラメータ（1）初期化パラメータ\シータ^ {（0）} =（\シータ^ {（0）} _ 1、\シータ^ {（0）} _2、\ cdots、\シータ^ {（0）} _ D）、反復; \\（2）は、i + 1番目の反復、ステップ1：書き込み\シータ^ {（I）} =（\シータ^ { （I）} _ 1、\シータ^ {（I）} _ 2、\ cdots、\シータ^ {（I）} _ d）のパラメータ\シータ=（\ theta_1、\ theta_2、\ cdots、\ theta_d）推定値として開始\\\算出{整列} Q（\シータ、\シータ^ {（I）}）=＆E_Z \ビッグ[\ログP（Y、Z | \シータ）| Y、\シータ^ {（I） }]ビッグ\ \ =＆\ sum_Z P（Z | Y、\シータ^ {（I）}）\ログP（Y、Z | \シータ）\端{整列} \\（3）ステップ2： D時間条件最大化：まず、\シータ^ {（I）} _ 2、\シータ^ {（I）} _ 3、\ cdots、\シータ^ {（I）} _ K不変条件が見付かります\\次に、\ theta_1 = \におけるシータ^ {（I + 1）} _ 1、; Qは、（\シータ、\シータは、^ {（i）は}）^ {（I + 1）} _ 1 \シータの最大値に達し\ theta_j = \ ^ {（J）}シータ_ J、J = 3,4、\条件cdots、kはQ（\シータ、\シータ^ {（i）は}）\シータ^ {最大に達したことを評価します（I + 1）}; \\これは\シータ^ {（I + 1）} =（\シータ^ {（I + 1）} _ 1、\シータを与えるために、最大化の条件D回まで継続^ {（ I + 1）} _ 2、\ cdots、\シータ^ {（I + 1）} _ d）のようにQ（\シータ^ {（I + 1）}、\シータ^ {（I）}）> Q（\シータ^ {（I）}、\シータ^ {（I）}）\\（4）反復（2）と（3）、収束するまで。\]