オーバーフィッティング誤差2.1体験
私たちの本当の希望は良い学習者を表示することができ、新たなサンプルです。新しいサンプルの顔の右判断を下すように、この目的を達成するために、本研究では、可能な限りサンプルからの「普遍的法則」のすべての潜在的なサンプルに適用可能であるべきです。
オーバーフィッティングにつながる要因：学習能力が強すぎるが、訓練の一般的な特性を学んだ試料中に含まれていません。
貧しいフィッティングにつながる要因：学習障害
2.2評価
テストセットとトレーニングセットをとして相互に排他的である必要があり、つまり、試験サンプルは、訓練発生に焦点を当てないようにしてください。
2.2.1 留出法
比較的単純で一般的に使用され、次は、パケットの分割sklearnトレーニングとテストセットです
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(x,y,test_size=0.2)
クロスバリデーション2.2.2
2.2.3ブートストラップ
M個のサンプルがあるデータDのセットがあります。Mは倍の交換にランダムサンプリングを使用しました。新しいデータセットD 'を取得します。m個のサンプルの確率サンプルが常に取られるべきではありません 限界を取ります= 0.368にほぼ等しいです
次いで、トレーニングセットとして使用することができるD 'は、データがテストセットとしてサンプリングされていません。この方法は、小さなデータセットに適しており、状況を効果的トレーニングセットとテストセットに分割することは困難です。
2.2.4曲は最終モデルに参加します
トレーニングモデルの後、新しいトレーニングモデルから学習データとテストデータを統合する必要があり、このモデルは、すべてのサンプルを使用して、これをユーザに提示究極のモデルです。
2.3.1エラーレートと精度
2.3.2精度、再現率とF1
精度もまた、「リコール」として知られ、リコール、「精度」と呼ばれています
モデル「バランス」を評価するときにリコール時の精度=値であり、（ブレークイベントポイントを、BEPをいう。）が、少し単純化しすぎBEPまたは、より一般的にF1測定：
本の内容は言うまでもありません：任意のポイントに対応する閾値は、選択された分類器F_scoreの最大F値をF値を持つことになります
2.3.3 ROCおよびAUC
真と偽陽性率：
レース分類アルゴリズムではまた、一般（のROC画分AUCの尺度として使用される
曲線下面積）
2.4.1仮説検定
：被測定で得られた学習者のE ^確率式の誤り率、誤り率eを導出することによって得られる一般化
仮説検定仮説は一般化エラープロファイルが決定されるレートまたはいくつかの推測を学んでいます
テストエラーレートが閾値未満である場合、すなわち学習者の一般化エラーレートはO、ε以下である、信頼水準1-αである、又は無仮説を棄却することができます。
2.4.2クロスバリデーション試験T
繰り返しt検定法によりさておき設定するには
ここでは、あまりにも多くの統計的な知識である、そうでない場合は、あまりにも多くの基盤、そしてこの本の方言の統計を見てお勧めします