まず、訓練誤差と汎化誤差
モデルの試験結果の優れたトレーニングセットで得おそらくオーバーフィッティングのモデルではなく、できるだけ高く、このトレーニングセットの精度、のために、他のデータセットに劣る結果。このように、2つのエラーの概念があります。
- エラーをトレーニング：
それはトレーニングデータセットのモデルのパフォーマンスのエラーを指します。 - 汎化誤差は：
次のデータセットにモデル、近似エラーのエラー性能を指します。汎化誤差はより有益です。
第二に、モデル選択
効果的にモデル化するために、我々は一般的に隠された層の数、各隠れ層の活性化関数の細胞と側面の番号等隠されたと見なさを選択してください。以下、一般的に使用されるモデル選択検証データセットで。
（A）検証データセット
データセットの一部が外部予約トレーニングおよびテストデータセットに加えて検証されます。モデル、評価、選択のために使用することができます。
データは入手が困難であるため、実際のプロセスでは、また、テストセットは、検証セットのために使用されます。
（B）K倍クロスバリデーション
訓練は手が届かない検証データをズーム、予約量を使用して十分なデータでないときに、モデルの検証データセットので、トレーニングに参加しません。⼀種が改善される救済\（K \） （クロスバリデーション倍\（K \）クロスバリデーション倍）。では\（Kは\）クロスバリデーションを折り、我々は元のトレーニングデータセットを分割\（K \）番目のデータセットは、その後、私たちは、サブメニューが重ならない\（K \）倍モデルの訓練と検証。各⼀回は、我々は、モデルを検証するために、データの1セットを使用する2つのサブメニューがあり、他の使用（K-1 \）\モデルを訓練するために目のサブメニューデータセット。この中で\（K \）時間のトレーニングと検証、モデル・データ・セットを検証するたびに使用サブメニューが異なります。最後に、私たちは、この持っている\（K \）回のトレーニングエラーと検証エラーが平均化されています。
下フィッティング（C）及びオーバーフィッティング
2つの古典的なモデル訓練問題があります。
- モデル⽆下訓練誤差を取得するための方法、我々
フィット（underfitting）⽋として知られているこれらの⼀現象。 - トレーニングエラーは、それがテストデータセットにエラーモデルよりもはるかに小さい、我々は（過剰適合）過剰適合として、この現象を呼び出します。
実際には、同時に私たちは、フィッティングとオーバーフィッティングできるだけ⽋に対処する必要があります。モデルの複雑さとトレーニングデータセットが⼩ズーム：両方のフィッティングの問題は次の2つの要因で説明される原因となる多くの要因があります。
1.モデルの複雑
のは、多項式関数のフィッティングを見てみましょう。所与⼀データスカラー特徴\（X \）とそれに対応するスカラーラベル\（Y \）先の時間スケールが⼀見つけることであるフィッティング多項式関数からなる訓練データセット\（K \）次の多項式関数で近似\（Yが\） 、次の通り：
\ [\ハットY = B + \ sum_ {K = 1} ^ {K} X ^ kw_k \]
上記式中、\（W_kは\）重み付けパラメータモデルは、である（\ B \）は偏差パラメータです。線形回帰、多項式フィッティングと同じもレベル⽅損失関数を使用することができます。特に、⼀別個の保証を嵌め込むための多項式関数は、線形関数フィッティングと呼ばれます。
より高度なオーダー多項式関数モデルパラメータので、モデル関数の選択はさらに大きく、低次の多項式関数のADVANCED順多項式関数⽐複雑性が高いを使用していますので。したがって、高次多項式関数は、低次多項式関数である⽐同じトレーニングデータセットの下訓練誤差を得ることが容易になります。
以下のように、図3.4に示されている関係のモデルの複雑さとの間の誤差は、一般に：
2.トレーニングデータセットが小さすぎます
トレーニングデータセットをオーバーフィッティングおよび他の時間᯿因子を適合影響は⽋⼩ズームされます。いつものようにシュート、トレーニングデータセット内のサンプルの数は、少なすぎる場合は特に⽣オーバーフィットに少なく、やすい（元素として計算）のモデルパラメータ⽐の数。また、ない汎化誤差⾥学習サンプルデータセットの数とズーム⽽増加させることによって。そのため、リソースを許可するコンピューティングの範囲内で、我々は通常のトレーニングデータは、多くの層の深い学習モデルとして、モデルADVANCEDの複雑さと比較する場合は特に、より多くの⼀ズーム設定を期待しています。