この問題を解決するための1、EMアルゴリズム
あなたは最尤推定に基づくモデルを使用している場合は隠された変数のモデルが存在し、EMアルゴリズムを使用してパラメータ推定を行う必要があります。
EMは、この考えを解決するためのアルゴリズム、ヒューリスティック反復法を使用することを、我々は直接分布定数モデルを得ることができないので、我々は最初の（EMアルゴリズムのEステップ）暗黙のデータを推測することができ、その後、観測データと推測に基づく暗黙的なデータであります一緒に仕事対数尤度を最大化するために、我々は、モデルパラメータ（EMアルゴリズムのMステップ）を解きます。私たちの前に隠されたデータは、この時点で得られたモデルのパラメータは、一般的に私たちが望む結果ではないので、推測することです。しかし、気にしない、我々は暗黙的なデータ（EMアルゴリズムのEステップ）、その継続的な憶測に基づいて、現在のモデルのパラメータを取得した後、対数尤度を最大化するために引き続き、我々はモデルパラメータ（EMアルゴリズムのMステップ）を解きます。ように、継続的な反復は分布定数モデル本質的に変化するまで、アルゴリズムの収束は、右のモデルパラメータを見つける続けています。
上記の説明から理解できるアルゴリズムは、各反復において2つのステップ、EステップおよびMステップに分割されているが、EMアルゴリズムは、最大値を解くための反復アルゴリズムです。パラメータモデル分散型反復のラウンドと更新データは、我々が必要とするモデルパラメータを取得するために、収束するまで隠されて。
EMアルゴリズムの考え方の中で最も直感的な理解の一つが見、前に書かれたK平均アルゴリズムであり、アルゴリズムの原理をk-meansクラスタリングを。K平均クラスタリング場合、各クラスタのクラスタの重心は、暗黙的データです。我々は仮定K K重心初期化、EMアルゴリズムEの、すなわち、ステップと、その後、最も近いセントロイド、EMアルゴリズム、すなわち、M-ステップに重心とこのサンプルのクラスタに最も近い各サンプルについて計算しました。質量中心が変化しなくなるまでこのようにK平均法完了する、このステップEおよびMステップを繰り返します。
もちろん、K平均アルゴリズムは比較的単純で、実用上の問題は、多くの場合、それほど単純ではありません。EMアルゴリズムはまだ非常に粗いの顔に説明、私たちは、正確な数学的な記述言語を必要とします。
2、アルゴリズムの基本的な考え方
します。https：//www.jianshu.com/p/1121509ac1dcアルゴリズムを理解します
最適化することで、目的関数、間接的な目的関数の下限。大型の最初の衝撃で、私たちはグローバルな最適性を保証することはできませんが、安定点に収束することが保証されています。
我々はEMアルゴリズム、アルゴリズム的思考の観点から考えるならば、我々は我々のアルゴリズムで見つけることができ観測を知られ、未知のは、基礎となるデータとモデルパラメータである、E-ステップ、私たちがやっていることは、固定モデルのパラメータであります値は、基礎となるデータの分布を最適化するMステップでいる間、私たちが行うことは、固定基礎となるデータの分布であり、モデルパラメータの値を最適化します。実際には、多くのアルゴリズムが同様の考えを持って、他の機械学習アルゴリズムの比較。
EMアルゴリズムの最適化プロセスは、直感的に理解される、以下の図、すなわち、現在のノードθはN-であり、現在の下限の関数としての位置とを見つけるれる下限θnとノードに採取し、その後、下限の最大値を見つけます。 、横軸上にあり、θ N - + 。1ので工程が下段上方Eの結合見つけることであることは、下限判定の最大値を見つけるために、θ N - +を1ステップMステップです。
3、アルゴリズムステップ
