オリジナル：https://blog.csdn.net/yt71656/article/details/42585873
ML、MAPとベイズ推定：機械学習のレッスンでは、数日前に、教師は3つの方法のパラメータ推定について話しました。クラスは、その後、いくつかの関連情報をチェックするだけでなく、教師は「テキスト分析のためのパラメータ推定」紙LDAの側面をお勧めします。三つのパラメータ推定方法本論文では、テキストの分析を説明する- 最尤推定MLE、最大事後推定MAPとベイズ推定、および3の違いを。
図1に示すように、最尤推定MLE
ベイズ式を初めて目
また、逆確率の式と呼ばれるこの式は、事後確率、すなわち、尤度関数等事前確率の計算式に基づいて変換することができます。
最尤推定は、最大尤度関数の推定値として、尤度関数は、パラメータ値をとるように書くことができる使用することです
でも乗算ので、尤度関数は、通常、単純な対数、すなわち、対数尤度関数のペアをとります。最尤推定問題は、のように記述することができます
これは、我々が極端なポイント誘導体がゼロになってしまう、通常、この最適化問題を解く程度の関数です。この関数は、その最大値は、我々は推定モデルパラメータに対応する値である持っています。
例としてコイントスとベルヌーイ実験は、実験N、各実験イベントの確率であるPパラメータ従順二項分布の結果は、正の確率を得るために設定されてもよいです。Pを推定するために、最尤推定を用いて、尤度関数は、のように書くことができます。
ここで、iは、実験結果の数を表します。と尤度関数を以下の極値のポイント
パラメータpは最尤推定値を得られました
各イベントに見られるように、二項確率pがN倍にランダム化試験のイベントに依存しない複製を行う確率が等しい生じます。
我々は実験を20回行う場合は、12回は正と負の現れ8
次いで、得られた最尤推定パラメータ値pは12/20 = 0.6です。
図2に示すように、最大事後推定MAP
最大事後確率と最尤推定は、類似している追加機能は、推定アプリオリ、この時点で言うことであるが、最尤機能要件ではなく、ベイズ式により算出全体の後方に必要できることを除き最大確率、です、
従って、P（X）のパラメータとは独立して、及び最大分子等価物を作ることに注意されたいです。最尤推定と比較して、今、私たちは、以上の事前確率分布に番号を追加する必要があります。実際には、これは、既知または普遍的法則を受け入れてきた演繹的に記述するために使用することができます。たとえば、コイントスをテストにおいて、各スローの確率が正の出現確率分布に従うべきであり、0.5で最大値が得られる確率は、この分布は、事前分布です。ある我々はスーパー（ハイパー）を呼び出し、パラメータの事前分布パラメータ
上記事後確率が最大値を取得し、同じトークンによって、私たちは、MAPから推定パラメータ値を取得します。サンプルデータセットは、新しい値の発生確率であり、観察され
ここで我々は事前確率分布は0.5で最大値を有し、我々はベータ分布を使用することができ期待し、コイントスを説明するための例にまだ
これはベータ版の機能拡張であります
xは正の整数である場合
ベータ分布確率変数の範囲[0,1]は、正規化された確率値を生成することができます。次の図に示す異なる状況下でのベータ分布パラメータの確率密度関数
我々は、Pを有する我々は誘導体と同様に、今端点MAP推定機能を解決し、最大値を得ることが0.5で、このような事前分布を取ります
最大にパラメータpの事後推定値を取得するには
そして、比較結果の最尤推定の結果は、仕事でアプリオリである以上、このような疑似カウント、で見つけることができます。ハイパーパラメータ大きく、事前信念を送信観測値の分布を変更するために、この時間は、両方の最大圧縮時、ベータ関数の集合に対応する、より必要。
我々は実験を20回行う場合は、12回は、その後、正、負の8回表示されます
次いで16/28 P = 0.571にMAPパラメータに従って推定し、最尤推定値も先験的パラメータ推定に影響を与えるの「コインが両側にほぼ均一である」を示しており、0.6を得た未満です。
3ベイズ推定
ベイズ推定はさらに、MAP上で拡大することです直接パラメータの値を推定していない、その後、しかし、パラメータが一定の確率分布に従うことができます。リコールベイズ式
今、最大事後確率は、確率が利用可能な合計確率式で立ち上げた証拠を、観察することを要求して、必要とされていません
新しいデータが観測された場合、事後確率を自動的に調整することができます。しかし、通常、これは場所がよりトリッキーです見つけるためのベイズ推定法の合計確率です。
それでは、どのようベイズ推定値は、それを予測していますか？私たちは新しい価値の確率を見つけたい、と行うことができる場合
計算されました。この時点で統合における第二の要因は、1にもはや等しく、これは、MLEとMAP大きな違いであることに注意してください。
我々は説明するベルヌーイコイン投げの例で実験を続けています。そして、MAPが、希望、我々はベータ分布の事前分布、ベイズ推定を前提としますが、設定は、パラメータは、パラメータ値として近似事後最大の後に必要とされていない場合、しかし、ベータ分布パラメータpの要件を満たすために
式の使用を注意してください
Tは、ベータ分布に適用することができる2次元の場合である場合、Tは、多次元の場合は、配信アプリケーションをディリクレできています
結果によるとベイズ推定に基づいて、知ることができ、パラメータpは、新しいベータ分布に従います。リコール我々はベータ分布を選択する事前分布pは、その後、pはベイズ事後結果はまだオベイベータの確率分布、ベータ版のパラメータを持つ二項分布であるため、私たちは二項分布を言って、その共役分布。確率的言語モデルでは、典型的には、計算に利便性をもたらすことができる事前分布コンジュゲートとして選択されます。トピックは、多項分布、すなわちディリクレ分布を選択その共役事前分布に従う各文書の中で最も一般的なLDAワードであり、各トピック多項分布に従うも共役すなわちの事前分布を選択された単語、の配布ディリクレ分布。
ベータ分布の式の期待と分散によると、私たちは持っています
この時間は、あなたはまだ20回の実験、12正、負の8回、行うならば、我々は、pのベイズ推定に基づく取得、MAPで得られた推定値が異なる場合、Pの期待とMLEを推定するために、この時点で見ることができますパラメータは、平均と分散は= 0.567 17/30、* 13 17 /（31 * 30 ^ 2）= 0.0079であり、満足およびベータ12 + 5 8 + 5配布されます。この時点では、所望のp値が近いほど0.5に、得られたMLE及びMAP推定よりも小さい計算された見ることができます。
次のように結論として、私たちは、パラメータ推定結果のMLE、MAPとベイズ推定を可視化することができます
個人的な理解は、MLEから次いでベイズ推定、得られたパラメータ、パラメータ推定結果のより多くの正確な表現はまた、真のパラメータを反映するために、より多くできるのサンプルに基づいて、近い0.5に事前確率を取得しているMAPへと、あります状況。
3〜4の違い
まず、我々は、最尤推定ことと最大事後確率は、パラメータが固定値として見πを推定するという仮定に基づいていますが、その値は不明であるさを見ることができます。試料が尤度分布のパラメータの最大数を見つけることであるように、パラメータが未知であると仮定し、その値を決定するようになっているものの、最大尤度は、最も単純な形態です。最大事後が、事後確率フォームより事前確率条件の最適化機能。ベイズ推定と2の間の最大の差は、値が決定されていない、パラメータが確率変数であると仮定することです。サンプル分布P（π|χ）、[PI]、0〜1の値から任意のを取るが、異なる確率を取ることが可能です。MLEとMAPは、ちょうど全体の確率分布Pを取る|（πχ）上の点は、観測されたデータの一部を失っ与えられた情報をχ（学校が配置されている古典とベイズ統計の最大の違いがあります。）
参考文献：
1.Gregorハインリッヒ、テスト分析のためのパラメータ推定、技術レポート
2.テキスト言語モデルのパラメータ推定 - 最尤推定、MAPとベイズ推定http://blog.csdn.net/yangliuy/article/details/8296481
3.「初心者のためのギブスサンプリングの」読みノート（上）---パラメータ推定法とギブスサンプリング紹介http://crescentmoon.info/2013/06/29/Gibbs%20Sampling%20for%20the%20UniniTiated-1/
----------------
免責事項：この記事はCSDNブロガー「yt71656の元記事である、CC 4.0 BY-SAの著作権契約書に従ってください、複製、元のソースのリンクと、この文を添付してください。 。
オリジナルリンクします。https：//blog.csdn.net/yt71656/article/details/42585873