私は、今日はに基づいて導出されて見てみましょう確率モデルの分類についての質問を導出します。
タイトルは、おそらく、我々は、サンプルを抽出し、その後、サンプルは、この分類に属しているかを決定します。
まず、知識に関連付けられたおおよその確率論見直し確率論の基本的な知識のを
私たちは、問題は二つのカテゴリーに制限されて分類します。我々が持っていること\（C_1 \）と\（C_2 \）分類。そして、1サンプル\（X_I \） 、判断する\は（X_I \）どのカテゴリに属している必要があります。確率式で我々の問題を説明するために
| \（？X_I P（C_ ）\） それ\（P（C_1 | X_I） X_I）\ | = 1-P（C_2）を、我々はただ1つの確率を見つけることができます。
ベイズ式、我々が見つかりX_I）| \（P（C_1 = \ FRAC {P（X_I | C_1）* P（C_1）} {P（X_I | C_1）* P（C_1）+ P（X_I | C_2 ）* P（C_2）} \ ）
我々の単純な変換式：分子の分子と分母を分割をすることができる\（P（C_1 | X_I） = \ FRAC {1} {1+ \ FRAC {P（X_I | C_2）* P（C_2）} {P（X_I | C_1）* P（C_1）}} \）
我々は、設定：\（Z = LN（\ FRAC {P（X_I | C_L）P（C_L）} {P（X_I | C_2）P（C_2）}）\）精製して\（P（C_1 | X_Iを） = \ FRAC {1} {1 + EXP （-Z）} \）
我々はさらにZに変換：\（Z = LN \ FRAC {P（X_I | C_L）} {P（X_I | C_2）} + LN \ FRAC {P（C_L）} {P（C_2）} \）
\（\ FRAC {P（C_1 ）} {P（C_2）} \） 我々が得るには、主にチェックする学習サンプルの数である\（C_1 \）の数である（N_1 \）を\、\（C_2 \）多くの\（N_2 \）、これにより取得する、
\ [\ FRAC {P（C_1 ）} {P（C_2）} = \ FRAC {\ FRAC {N_1} {N_1 + N_2}} {\ FRAC {N_2} {N_1を+ N_2}} = \ FRAC { N_1} {N_2} \]
Zに得ることができる\ [Z = LN \ FRAC { | {P（X_I | C_1）} P（C_1 X_I）} + LN \ FRAC {N_1} {N_2} \]
我々はサンプルがガウス（正規）分布であると仮定し、ガウス分布の確率密度の式は次の通りである
（X）= \ \ [F FRAC {1}は{\ SQRT {2 \ PI} \シグマ} EXP（\ FRACを{ （徐）^ 2} {2 \シグマ^ 2}）\]
即：
\ [P（X_I | C_1）= \ FRAC {1}は{\ SQRT {2 \ PI} \ sigma_1} EXP（\ FRAC {（X_I-U_1）^ 2} {2 \ sigma_1 ^ 2}）\]
\ [P（X_I | C_2）= \ FRAC {1}は{\ SQRT {2 \ PI} \ sigma_2} EXP（\ FRAC {（X_I-U_2）^ 2} {2 \ sigma_2 ^ 2}）\]
将来的に、我々は、元の簡素化を得た後に
[Z = LN \ FRAC {\ \ FRAC {1} {\ sigma_1}} {\ FRAC {1} {\ sigma_2}} + LN \ FRAC {EXP（\ FRACを{ （X_I-U_1）^ 2} {2 \ sigma_1 ^ 2}）} {EXP（\ FRAC {（X_I-U_2）^ 2} {2 \ sigma_2 ^ 2}）} + LN \ FRAC {N_1} {N_2} \]
さらに簡素化
\ [Z = LN FRAC {\ sigma_2} {\ sigma_1} + \ FRAC {（X-U_1）^ 2} {2 \ sigma_1 ^ 2} + \ FRAC {（X-U_2）^ 2} {2 \ sigma_2 \ ^ 2} + LN \ FRACのN_1 {} {} N_2 \]
私たちは、ガウス分布の分散は2つの分類、すなわちと等価であることを前提と\（\ sigma_1 == \ sigma_2 == \シグマ\） 与えます
\ [Z \開始{-2U_1X + + 2U_2X U_1 ^ 2 ^ 2-U_2} {2 \シグマ^ 2} + LN \ FRAC {} {N_1 N_2} \ {{U_2、U_1を}開始\シグマ^ 2 X} + \開始{U_1 ^ 2 ^ 2-U_2} {2 \シグマ^ 2} + LN \ FRAC {} {N_1 N_2} \]
我々は知っているU \（\ Sigma社\） 、我々はないそれらの関係具体的な数値を行う統計的サンプルに従って得られるので、我々は仮定することができる\（W = FRAC \ {U_2 -U_1} {\シグマ^ 2} \） そして\（B = \ FRAC {U_1 ^ 2-U_2 ^ 2} {2 \シグマ^ 2} + LN \ FRAC {N_1} {N_2} \）
我々が得ることができる\ [Zを= Wxの+ B \ ]
だから、私たちのマシンは、私たちは、サンプルの平均と分散を得るために、最大尤度関数を使用している場合、我々はサンプルを変化させることによって、分類に属しているかどうかを推定することができるようになります学習、私たちは、特性や分布に応じてサンプルの平均値を計算することはできません分散は、単にサンプルが属するとして、我々は分類を決定することができ、右WとBを見つける必要があります。
私達はちょうど私たちがW aとbの適合性を評価するために見つけることは、適切な評価関数を見つける必要があります。そして、Wテストを続け、B、我々は見つけることができます。そして、我々は、この機能を探しているのは次のとおりです。
\ [損失= - [YLN \帽子{Y} +（1-Y）LN（1-ハット\ {Y}）] \]
そのような損失関数を選ぶ理由については？言及学ぶコースアンドリュー・ウ教師機が2つの場合に分けることができ、それぞれ算出する
\ [損失= \開始{ケース } -ln \帽子{Y} \クワッドY = 1 \\ -ln（1- \帽子{Y}）\クワッド Y = 0 \端{ケース} \]
上記の損失関数を得るにこれらの2つの式の統合、我々は適用されません\（損失=（Y- \帽子 {Y}）^ 2 \） 機能の喪失として？アンドリュー・ウは、教師が、彼はロジスティック回帰では凸関数ではないので、我々は良い勾配降下することはできませんおそらくであることを説明しました。CHANG教師コースが詳細に分析されています。
特定のは、以下のとおり選択入会\（損失=（Y- \帽子 {Yを}）^ 2 \） 損失関数として、我々は、勾配降下を見つけたとき、関数の導関数を得るために必要
\（\ FRAC {dloss} {DW} = 2（Y- \ハット{Y}）\ハット{Y}（ハット\ 1- {Y}）* X \）
我々は関係なく、ラベルの、0または1時間を取得し、出力は誘導体を得るために、0または1である場合には勾配がドロップすることができない、0です。これはあなたのための根本的な理由です。