第4章:ナイーブベイズ

学習と分類

基本的な方法

事前確率分布を学習:

\ [P(Y = c_k)\]

条件付き確率分布を学習:

\ [P(X = X | Y = c_k)\]

次いで、結合確率分布は、学習された(P(X、Y)\)\ので、モデルが生成されます

条件付き独立性の仮定

(\ \ {ALIGN *} P(X = X開始| \、(X ^ {(1)} = X ^ {(1)} Y = c_k)=&P cdots X ^ {(N)} = X ^ { (N)} | Y = c_k)\\ =&\ prod_ {J = 1} ^ {n}はP(X ^ {(J)} = X ^ {(J)} | Y = c_k)\端{ALIGN *} \)

アイデアはシンプルで、費用分類精度

事後確率

\ [\開始{ALIGN *} P(Y = c_m | X = X)= \ FRAC {P(X = X | Y = c_m)P(Y = c_m)} {\ sum_ {K} P(Y = c_k )P(X = X | Y = c_k)} \端{ALIGN *} \]

\ [Y = F(X)= \ underset {c_m} {ARGMAX} P(Y = c_m | X = x)と\]

\ [Y = \ underset {c_m} {ARGMAX} P(Y = c_m)\ prod_ {J = 1} ^ NP(X ^ {(J)} = X ^ {(J)} | Y = c_m)\]

意味

事後確率を最大化した後に予想されるリスクの最小化と等価です

\(\開始{式} L(Y、F(X))= \ \左{\ \ Y&{整列} 1を開始NEQのf(x)が\\ 0、&Y = F(X)\端{整列} \右\端{式} \)

\(R_ {EXP}(F)= E [L(Y、F(X))] \)

それは同時確率P(X、Y)を求めることが望ましいので、所望の状態に変換されます

\(R_ {EXP}(F)= E_X \ sum_ {k = 1} ^ {K} [L(c_k、F(X))] P(c_k | X)\)

リスクを最小限にするためにそれぞれについて、所望の\(X = X \)

\ [\ {整列は*} F(X)を始める=&\ underset {YのY \} {argmin} \ sum_ {k = 1} ^ {K} L(X_K、y)はP(c_k | X = x)は\\ =&\ underset {YのY \} {argmin} \ sum_ {k = 1} ^ {K} P(Y \ NEQ c_k | X = x)は\\ =&\ underset {YのY \} { argmin}(1-P(Y = c_k | X = x))を\\ =&\ underset {YのY \} {ARGMAX} P(Y = c_k | X = x)が\端{ALIGN *} \]

そう

\ [F(X)= \ underset {c_k} {ARGMAX} P(c_k | X = x)と\]

パラメータ推定

最尤推定値

\ [P(Y = c_k)= \ FRAC {\ sum_ {I = 1} ^ {N} I(Y_I = c_k)} {N} \]

\ [P(X ^ {(J)} = X ^ {(JL)} | Y = c_k)= \ FRAC {\ sum_ {i = 1} ^ {N} I(X_I ^ {(J)} = X ^ {(JL)}、Y_I = c_k)} {\ sum_ {I = 1} ^ NI(Y = c_k)} \]

\(X ^ {(JL) } \) を表し\(J \)の属性\(L \)の可能な値を

ベイズ推定

最大尤度は、確率0.5で発生することがあり

\ [P_ \ラムダ(X ^ {(J)} = X ^ {(JL)} | Y = c_k)= \ FRAC {\ sum_ {i = 1} ^ {N} I(X_I ^ {(J)} = X ^ {(JL)}、Y_I = c_k)+ \ラムダ} {\ sum_ {I = 1} ^ NI(Y = c_k)+ S_j \ラムダ} \]

\(S_j \)最初に\(J \)は、可能な値の数を属性

\ [P_ \ラムダ(Y = c_k)= \ FRAC {\ sum_ {i = 1} ^ {N} I(Y_I = c_k)+ \ラムダ} {N + K \ラムダ} \]

おすすめ

転載: www.cnblogs.com/Lzqayx/p/12163107.html