の----ロジスティック回帰機械学習ポータル(9)(ニュートン法)

マルチゴージャスな花、そしてより多くの素晴らしいシーズン。

何の花がその季節を保持することはできません。

私は、あまりにも、常に追求し、

私は最終的に失いたく

戻るロジスティック回帰最大尤度関数にここでは、今私たちは、対数尤度関数を最大化するためにニュートン法を使用しています。

ゼロを求めているニュートンの法則

ニュートン法は、この関数を見つけるために使用されるゼロ点法を、関数はゼロ点が値ゼロ関数の引数を指します。
ニュートン法の更新式は、
\ [\数式}開始{\シータ:FRAC {F(\シータ){F} {^ \プライム} \ = \シータ-を(\シータ)} \}終了{式\]
これを更新式は、非常に自然な説明は、ゼロの次のラウンドのより良い近似値として現在のおおよそのゼロ点ゼロにおける接線ことである持っています。そして、実際のゼロに近い続行するには、このプロセスを繰り返し続けます。このプロセスは、以下のようになり、

極端なポイントを求めているニュートンの法則

ニュートン法は、ゼロは現在パイロット需要関数ウィットの数の関数を求めている、式を更新するので、極値点は、以下のニュートン法を持って、ゼロを求める方法であり、
\ [\開始式} {\シータ= \シータ\ FRAC {\エル^ {\プライム}(\シータ)} {\エル^ {\プライム\プライム}(\シータ)} \端{式} \]

今、私たちが最大化されるためのロジスティック回帰パラメータであることをベクトルです。従って(また、ニュートン・ラプソン法としても知られる)、より高い次元のニュートン法、がある、への昇格
}式\ [\開始{\シータ:= \ {^ H-シータ- 1}の\ナブラ_ {\シータ} \ ELL(\シータ)\端{式} \
] 関数$ \のエル(\シータ)の$ ヘッセ行列の$ Hの$ $(i、j)は$要素が定義され、
\ [\開始{式} H_ {のIJ} = \ FRAC {\部分^ {2
} \エル(\シータ)} {\ \ {I} \部分の\ theta_ {J}の部分theta_} \端{式} \] ニュートン反復法下に置くことができる非常に小さな数字ホイール高速コンバージェンスが、彼は、機能の数(機能の数がどこから来たか、早く)の行列の逆の順序を見つけることに関係しているので、ニュートン法の各ラウンドでの降下のコストは、一般的に勾配よりもはるかに高いです。アンドラ世界の共存の法則。

ただ、ロジスティック対数尤度関数の最大のポイントを見つけるためにニュートン法により、呼び出される対応するメソッドフィッシャーはスコア(フィッシャー得点を。)。

IMG

おすすめ

転載: www.cnblogs.com/qizhien/p/11590339.html