線形回帰とロジスティック回帰正則

まず、なぜ正則必要がありますか？

オーバーフィッティングから正則と言えば問題が開始されます。

我々は機能のかなり多くを持っている場合は、マシンはトレーニングセットに出て学ぶことは良く一致して仮定しますが、新しいテスト・セットで良い結果を達成するために失敗した、と述べたオーバーフィッティングの私たちの通常の意味であること共同現象。

この方法は、オーバーフィッティングを避けるために通常の意味を機能の一部を放棄するために使用することができますが、相対的な情報がいくつかの機能を放棄します。私たちは、変数のすべての特性を保持する必要があるとき、私たちは正則化法を使用します。正則化プロセスでは、我々はすべての変数の特性を保持しますが、我々は秩序パラメータまたはパラメータのサイズを小さくします。一方、正則でも、私たちはモデルを単純化するうえで有効であることができます。

第二に、コスト関数

例えば、我々は100個の機能を持って、実際には、狭くパラメータつまり変数が低く相関関係を持っている特徴事前に知ることは困難です。したがって、線形回帰は、例えば、私達の線形回帰関数のコストに加えて追加の正則化項が次のように各係数の値は狭くします
。\ [J（\シータ）= FRAC \ 1を{{} 2メートル} [\ sum_ {i = 1} ^ M（H_ \シータ（X ^ {（I）}） - y ^ {（I）}）^ 2+ \ラムダ\ sum_ {i = 1} ^ n個の\シータ2_j ^] \]
ラムダ特に大きいものであってはなりません。

第三に、線形計画正則

1.勾配降下

下に示すように、正規化勾配降下法の非存在下で、コスト関数を最小化するために使用される
\ [\ theta_j = \ theta_j- \アルファFRAC \ {1} {M} \ sum_ {i = 1} ^ M（ H_ \シータ（X ^ {（
I）}） - y ^ {（I）}）^ {X（I）} _ J（J = 0,1,2、...、N）\] 第二の部分を参照します私たちは、正則化線形回帰に簡単です。
\ [\ Theta_0 = \ theta_0- \アルファFRAC {1} {M} \ sum_ {i = 1} ^ M（H_ \シータ（X ^ {（I）}） - y ^ {（I）}）\ X ^ {（I）} _ 0 \]

\ [\ theta_j = \ theta_j- \アルファ[\ FRAC {1} {M} \ sum_ {i = 1} ^ M（H_ \シータ（X ^ {（I）}） - y ^ {（I）}） X ^ {（I）} _ J + \ FRAC {\ラムダ} {M} \ theta_j]（j = 1,2、...、N）\]