正則とは何ですか？
イラスト
データセットに続き、2つの関数曲線フィッティングモデルが示されている。
明らかに、とき上位の順位は、データがデータを過剰適合、フィット感もが、一般的ではないことができます。
以下は、コスト関数の前に仮想的な線形回帰式である：
2θ3と値のθ4を最小限に抑えるためにペナルティ項を追加することを選択しました。
コスト関数の最適化が当社の目標です、私たちは、平均二乗誤差の費用関数最小化したい
以下の二つを追加するコスト関数を：
この新しいコスト関数の最小化を行うために、我々は可能な限り小さくθ3とθ4を求めています。最小θ3及びθ4値終了後0に、次にXほとんど無視X及び立方四次の用語と同等です。そのような機能は、画像をより少ない蛇行し、滑らかになることが想定され、新しいデータサンプルがより一般的で予測することが可能です。この例のように二次関数をフィッティングデータセットと同じです。
アイデアの正則操作
θの値が小さい場合、より単純な仮説関数の形で得ることができ、関数はより滑らかな画像となり、それは問題を過剰適合することは困難です。
変数に非常に長い時間の場合は、我々は直感的に、我々は保つ何の変数を知ることができない場合は、どの廃棄変数に、我々は、データ・セットに、より良いフィット感を機能するように。
パラメータの数を減らし、パラメータを選択するためには、その正規化の問題は、私たちが回帰線形コスト関数を変更したいということです。改訂されたコスト関数は次のとおりです。
右端の総和用語正則の用語であり、ロンダは、正則化パラメータ。
私たちの最初の目標は、優れたデータセットをフィットすることであり、第二の目標は、小規模なパラメータ値を維持したいことです。そして、ロンダは、これらの2つの目的間のバランスを維持することで、仮定は簡単に機能を形成します。
ロンダ値は通常、非常に大きな数に設定されています。
--------------------
