学習と分類
基本的な方法
事前確率分布を学習:
\ [P(Y = c_k)\]
条件付き確率分布を学習:
\ [P(X = X | Y = c_k)\]
次いで、結合確率分布は、学習された(P(X、Y)\)\ので、モデルが生成されます
条件付き独立性の仮定
(\ \ {ALIGN *} P(X = X開始| \、(X ^ {(1)} = X ^ {(1)} Y = c_k)=&P cdots X ^ {(N)} = X ^ { (N)} | Y = c_k)\\ =&\ prod_ {J = 1} ^ {n}はP(X ^ {(J)} = X ^ {(J)} | Y = c_k)\端{ALIGN *} \)
アイデアはシンプルで、費用分類精度
事後確率
\ [\開始{ALIGN *} P(Y = c_m | X = X)= \ FRAC {P(X = X | Y = c_m)P(Y = c_m)} {\ sum_ {K} P(Y = c_k )P(X = X | Y = c_k)} \端{ALIGN *} \]
\ [Y = F(X)= \ underset {c_m} {ARGMAX} P(Y = c_m | X = x)と\]
\ [Y = \ underset {c_m} {ARGMAX} P(Y = c_m)\ prod_ {J = 1} ^ NP(X ^ {(J)} = X ^ {(J)} | Y = c_m)\]
意味
事後確率を最大化した後に予想されるリスクの最小化と等価です
\(\開始{式} L(Y、F(X))= \ \左{\ \ Y&{整列} 1を開始NEQのf(x)が\\ 0、&Y = F(X)\端{整列} \右\端{式} \)
\(R_ {EXP}(F)= E [L(Y、F(X))] \)
それは同時確率P(X、Y)を求めることが望ましいので、所望の状態に変換されます
\(R_ {EXP}(F)= E_X \ sum_ {k = 1} ^ {K} [L(c_k、F(X))] P(c_k | X)\)
リスクを最小限にするためにそれぞれについて、所望の\(X = X \)
\ [\ {整列は*} F(X)を始める=&\ underset {YのY \} {argmin} \ sum_ {k = 1} ^ {K} L(X_K、y)はP(c_k | X = x)は\\ =&\ underset {YのY \} {argmin} \ sum_ {k = 1} ^ {K} P(Y \ NEQ c_k | X = x)は\\ =&\ underset {YのY \} { argmin}(1-P(Y = c_k | X = x))を\\ =&\ underset {YのY \} {ARGMAX} P(Y = c_k | X = x)が\端{ALIGN *} \]
そう
\ [F(X)= \ underset {c_k} {ARGMAX} P(c_k | X = x)と\]
パラメータ推定
最尤推定値
\ [P(Y = c_k)= \ FRAC {\ sum_ {I = 1} ^ {N} I(Y_I = c_k)} {N} \]
\ [P(X ^ {(J)} = X ^ {(JL)} | Y = c_k)= \ FRAC {\ sum_ {i = 1} ^ {N} I(X_I ^ {(J)} = X ^ {(JL)}、Y_I = c_k)} {\ sum_ {I = 1} ^ NI(Y = c_k)} \]
\(X ^ {(JL) } \) を表し\(J \)の属性\(L \)の可能な値を
ベイズ推定
最大尤度は、確率0.5で発生することがあり
\ [P_ \ラムダ(X ^ {(J)} = X ^ {(JL)} | Y = c_k)= \ FRAC {\ sum_ {i = 1} ^ {N} I(X_I ^ {(J)} = X ^ {(JL)}、Y_I = c_k)+ \ラムダ} {\ sum_ {I = 1} ^ NI(Y = c_k)+ S_j \ラムダ} \]
\(S_j \)最初に\(J \)は、可能な値の数を属性
\ [P_ \ラムダ(Y = c_k)= \ FRAC {\ sum_ {i = 1} ^ {N} I(Y_I = c_k)+ \ラムダ} {N + K \ラムダ} \]