ベルヌーイ分布
また、0-1分布としても知られているベルヌーイ分布は、離散確率分布です。典型的な例は、特別なコイントスで、たびに2つだけの結果、正と負の両方のコインを投げます。コイン投げ陽性の確率は、（P-\）\、確率は負にスローされた\（P-1- \） 。したがって、ランダム変数の\（X- \）がある：
\ [\開始{F}を整列（X- = 1）= P＆F \\（X- = 0）= 1＆-P \整列終了{} \]
ランダム変数ので\（X- \）のみ二つの値0及び1、\（X- \）確率分布関数のように書くことができる：
\ [F（X-）= P ^ X（1-P）1-X} ^ { \ qquad 0 <p <1個の\タグ{1} \]
期待
確率論と統計、数学的期待値（または平均値）でその結果を掛け可能な結果の各テスト確率の和です。これは、確率変数の大きさの平均値を反映しています。
ディスクリート
離散確率変数\（X \）である数学的期待にすべての可能な値については、\（X_Iが\）と対応する確率\（P（X_I）\）確率変数の値がの集まりであれば、ある製品の合計、\（\ lbrace X_1、X_2、...、x_nに関する\ rbrace \） 、に対応する各値の確率\（\ lbraceのP（X_1） 、P（X_2）、...、P（x_nに関する）\ rbrace \）がある：\ [E（X-）= \ sum_ = {I} 1 ^ N-x_np（x_nに関する）\ {2}タグ\。]
したがって、用ベルヌーイ分布の数学的期待値であり、：
\ [E（X-）=1⋅p0⋅+（1-P）= P \]
ランダム変数について\（X- \） 、および分散の数学的期待値式が成立する：
\ [ヴァー（X-）= E（（XE（X-））^ 2）= E（X ^ 2） - [E（X）] ^ 2 \タグ3} {\]
ランダム変数の分散は、ランダム変数とその数学的期待値との偏差の程度の尺度です。
式が導出される以下のよう
\ [\整列開始{ヴァー}（X-）＆E =（（XE（X-））^ 2）= \\＆E（X-2-2x ^ \ CDOT E（X-）+ [E（X-）] ^ 2）= \\＆E（ X ^ 2）-2 \ CDOT E（X）\ CDOT E（X）+ [E（X）] ^ 2 = \\＆E（X ^ 2） - [E（X） ] ^ 2 \端{整列} \]
以下のためのベルヌーイ分布、そこ\（E（X2）= E（X-）\） 。従って、分散は：
\ [ヴァー（X-）PP = P ^ 2 =（1-P。）\]
最尤推定値
統計では、また、最尤推定として知られている最尤推定（MLE）は、に使用されるパラメータ推定確率モデルアプローチ。その目的は次のとおりです。既知のサンプルの結果、最も可能性の高い原因逆推力パラメータ値ので、結果を使用して。
サンプルセット内のサンプルは、独立同一分布であるので、であるベルヌーイ分布パラメータpの最大尤度推定を導出します。既知の音符のサンプルセット：
\ [D = \ lbrace X_1、X_2、...、x_nに関する\ rbrace \]
尤度関数である：
\ [\}分割開始{L（P | X_1、...、 x_nに関する）＆= F（X | P）\\＆= F（X_1、X_2、...、x_nに関する| P）\\＆= \ prod_ {I = 1} ^ NF（X_I | P）\\＆= \ prod_ {I = 1} ^ NP ^ {X_I}（1-P）^ {1-X_I} \端{スプリット} \タグ{4} \]
でも乗算、典型的には、対数尤度関数を計算するため、すなわち、対数尤度関数。したがって、対数尤度関数：
\ [\分割{L}を始める=＆\ \ prod_ログ1} = {I ^ NF（X_I | P）が\\＆\ sum_ = 1} ^ {N-I = {\。ログF（X_I | P）} \\ =＆\ sum_ {i = 1} ^ N - {[X_I \ログP +（1-X_I）\ログ（1-P）]} \端{スプリット} \タグ{5 } \]
式\（（5）\）実際のクロスエントロピーにロジスティック回帰を用いています。
\ [\ \ {スプリットを}開始帽子{P}＆= \のarg \ MAX_ {P} L（P | X）\\＆= \のarg \ max_p {\ sum_ {iは1 =} ^ N - {[X_I \ログP +（1-X_I）\ログ（1-P）]}} \端{スプリット} \]
したがって、最尤推定が実際極値点の尤度関数であり、対数尤度関数の導出パラメータPPP：
\ [\整列開始{} \ {FRAC \部分L} {\＆} P =部分\ sum_ {I = 1} ^ N - {[\ FRAC {X_I} {P} + \ FRAC {1- X_I} {P-1}]} \\＆= \ sum_ {I = 1} ^ nは{\ FRAC {P-X_I} {P（ P-1）} = 0 \端{整列} \]
最尤推定値ベルヌーイを得るために：
\ [\整列sum_ \} {始まる1} ^ {N-I =（P-X_I）= 0 \\＆\＆Pを意味= \ {N-FRAC {} 1。 } \ sum_ {I = 1} ^ nx_i \端{整列} \]
概要
次のように確率モデルを必要な一般的な手順の最尤推定値は、次のとおり
1.写出随机变量的概率分布函数；
2.写出似然函数；
3.对似然函数取对数，并进行化简整理；
4.对参数进行求导，找到似然函数的极值点；
5.解似然方程。私は、最尤推定アルゴリズムであるロジスティック回帰は、その本質を導出するために、見ている小さなパートナーのロジスティック回帰アルゴリズムを理解すると信じています。ロジスティック回帰では、確率分布関数は、（X）= P ^ Fもはや$ではない X（1-P）^ {1-x} $、 しかし：
\ [\} {P（Y開始位置合わせ| X。 \シータ）=（H _ {
\シータ}（X））^ Y（1-H _ {\シータ}（X））^ {1-Y} \端{整列} \タグ{6} \] ここで：
\ [開始\ {スプリット} H _ { \シータ}（X）= \ FRAC {1} {1 + E ^ { - Z}} = \ FRAC {1} {1 + E ^ { - \シータ^ {T}、X} } \端{スプリット} \タグ {7} \]
参考リンク：https://blog.csdn.net/github_39421713/article/details/89213747