あまりにもうぬぼれ
、の現象をオーバーフィットに関するメタファーの実際の生活の例を使ってみましょう手の込んだ前。端的に言えば、自信にモデルを学習マシンにある。自我。そのエゴ害の段階に達しています、
私たちは皆知っている彼の側近臨時性能のが、多くの場合、実際に本物の大きな円にブロックされている。したがって、この導入で、私たちはうぬぼれ入れて、オーバーフィッティングイクエート。
過剰適合のリターン分類
うぬぼれマシンは、モデルを学習し、何それの面で。ここではデータの一部です。あなたは、これらのデータを記述するために線を描画する場合、ほとんどの人がそう引く。はい、この行は私たちの希望です
マシンは、これらのデータをまとめるために使用されるラインのうち学ぶことができます。この時点でブルーラインとデータの合計誤差は10であってもよい。しかし、時には、マシンがあまりにも彼は小さな誤差に減少させることを希望する、このエラーが絡まっています、
彼はこれに来るかもしれない学んだので、その誤差は小さくなりますそれはほとんどすべてのデータポイントの後、よう。小さい。、エラーを学ぶためのデータのこのグループの任務を完了し、それは本当に良いですために、
右？私たちのモデルはまだあまりにもナイーブであると思われます。私は実際にこのモデルを使用して取得する場合、彼の自我が明らかにされています。小2ダース実際のデータに。この場合、大きな青いラインの前にエラー
彼はトレーニングデータに加えて、他のデータの表現で成功することはできませんので、エラー本質的に変わらない。小さな赤いエラーエラーが突然、できませんでしアップ、うぬぼれ誇り赤い線が舞い上がる。これは呼ばれます
オーバーフィッティング。オーバーフィッティング。
その後の間で分類問題は除行を過剰適合することは、非常に小さい2なり、その後、十数データにあります。私たちは、はっきり見える、2件の黄色のデータが十分に分離されていないがある。これはあまりにもありますフィット
トラブルで。まあ、今私たちは時折オーバーフィッティング問題が発生し、その溶液を行う者であることという。
ソリューション
この方法の一つは：データの量を増やして、我々はデータの数千人を持っている場合は、データの量が少なすぎるので、オーバーフィットの原因のほとんど、赤い線がゆっくりとまっすぐにされ、より少ない歪みます。
方法2：
などが挙げられる。これらの方法は、ニューラルネットワークを含むほとんどの機械学習にも適用可能である。彼らのアプローチは似ているの正規化。L1、L2正則の使用は、我々は、簡素化、機械学習は、キー式です
yがWxのを=。特に大規模または非常に小さかった上で、フィッティングに学ぶための機械の必要性の様々なパラメータのためのW、Wの値が変化する傾向がある。防ぐWするために、あまり変更されている、我々は計算誤差を何とかしなきゃ。オリジナル
コストエラーが計算され、コストが予測値を= - 広場の真の価値をWが大きくなりすぎると、我々はまた、我々は自分自身W検討して来るので、罰するために機器に続いコストが増加してみましょう。
ABSは正規のこの形式の絶対値であり、正規化は、正規化された類似のL1、L1とL2と呼ばれるが、絶対値が置き換えその他L3、L4も立方体との4乗に置換されて二乗されます待機
などと同様の形態が含まれる。これらの方法では、私たちは学校の外のラインがあまりにも歪んでいないことを確認することができます。
ドロップアウトと呼ばれる正則ニューラルネットワークの方法では、特殊な用途もあります。トレーニングは、我々はランダムにこのニューラルネットワークはなり作る神経細胞と神経接続の一部を無視すると、「不完全な。」
不完全なニューラルネットワークのトレーニング時間を持ちます。
第二ランダムに別の不完全なニューラルネットワークに、他人を無視します。ルールのうち、これらのランダムドロップで、私たちは、実際にはすべてのトレーニングセッションを想像することができ、我々はすべてのすべての予測を行います
結果は、ニューロンのところ特定の部分に依存しません。同様に、L1、L2正則化をあるWの過度の依存、など、値がL2がこれらの大きな引数を罰する、偉大なトレーニングパラメータ、L1になります。
ドロップアウトのアプローチは、ノーチャンスへの過度の依存からニューラルネットワークをさせることです。