04正則

正則化

線形回帰とロジスティック回帰のために

定義

1. アンダーフィッティング 欠拟合(high bias)
2. オーバーフィッティング过拟合 (high variance)：、あまりにも多くの機能を持つ新しい例に（泛化）を一般化することはできません。

オーバーフィッティングアドレッシング

1. 機能の数を減らします。
   • 手動で維持するためにどの機能を選択します。
   • モデル選択アルゴリズム。
2. 正則化
   • すべての機能をしてください。しかし、（\ theta_j \）\パラメータの大きさ/値を減らします。
   • 我々は、多くの機能を持っていたときによく働く、whitchのそれぞれは、\（のy \）を予測するビットを貢献しています。

正規コスト関数

• \ [MIN_ \シータの\ dfrac {1} {2メートル} \ sum_ {i = 1} ^ M（H_ \シータ（X ^ {（I）}） - y ^ {（I）}）^ 2 + \ラムダ\ sum_ {J = 1} ^ N \ theta_j ^ 2 \]

正則化線形回帰

1. 勾配降下
   \ [
   \開始{整列*}＆\テキスト{繰り返し} \ \ lbrace \改行＆\ \ \ \ \ theta_0：= \ theta_0 - \アルファ\ \ FRAC {1} {M} \ \ sum_ {I = 1} ^ M（H_ \シータ（X ^ {（I）}） - y ^ {（I）}）X_0 ^ {（I）} \改行＆\ \ \ \ \ theta_j：= \ theta_j - \アルファ\ \ [\左左（\ FRAC {1} {M} \ \ sum_ {i = 1} ^ M（H_ \シータ（X ^ {（I）}） - y ^ {（I）}）X - jが^ {（ I）} \右）+ \ FRAC {\ラムダ} {M} \ theta_j \右]＆\ \ \ \ \ \ \ \ \ \ J \で\ lbrace 1,2 ... N \ rbrace \改行＆\ rbrace \端{整列*}
   \]

   • 等价于
     \ [
     \ theta_j：= \ theta_j（1 - \アルファ\ FRAC {\ラムダ} {M}） - \アルファ\ FRAC {1} {M} \ sum_ {i = 1} ^ M（H_の\シータ（X ^ {（I）}） - y ^ {（I）}）^ {X - jが（I）}
     \]

2. 正規方程式
   \ [
   \開始{整列*}＆\シータ= \左（X ^ TX + \ラムダ\ CDOT Lの\右）^ { - 1} X ^のTy \改行＆\テキスト{ここ} \ L \ = \始まります{bmatrix} 0＆＆＆＆\改行＆1＆＆＆\改行&& 1 && \改行＆＆＆\ ddots＆\改行＆＆＆＆1 \改行\端{bmatrix} \端{*整列}
   \]

• 不可逆的な\のために（（X ^ TX）\）、\（（X ^ TX + \ lambda.L）\）リバーシブルになります

正則ロジスティック回帰

1. コスト関数

\ [
J（\シータ）= - \ FRAC {1} {M} \ sum_ {i = 1} ^ M [Y ^ {（I）}ログ（H_ \シータ（X ^ {（I）}））+ （1 - y ^ {（I）}）ログ（1 - H_ \シータ（X ^ {（I）}））] + \ FRAC {\ラムダ} {2メートル} \ sum_ {J = 1} ^ N \ theta_j ^ 2
\]

1. 勾配降下
   \ [
   \開始{整列*}＆\テキスト{繰り返し} \ \ lbrace \改行＆\ \ \ \ \ theta_0：= \ theta_0 - \アルファ\ \ FRAC {1} {M} \ \ sum_ {I = 1} ^ M（H_ \シータ（X ^ {（I）}） - y ^ {（I）}）X_0 ^ {（I）} \改行＆\ \ \ \ \ theta_j：= \ theta_j - \アルファ\ \ [\左左（\ FRAC {1} {M} \ \ sum_ {i = 1} ^ M（H_ \シータ（X ^ {（I）}） - y ^ {（I）}）X - jが^ {（ I）} \右）+ \ FRAC {\ラムダ} {M} \ theta_j \右]＆\ \ \ \ \ \ \ \ \ \ J \で\ lbrace 1,2 ... N \ rbrace \改行＆\ rbrace \端{整列*}
   \]