機械学習モデルの評価および診断

まず、アルゴリズムを機械学習を改善する方法を
あなたがアルゴリズムを機械学習を訓練しなければならないことを前提としていますが、効果は非常に良いではありません、その後、いくつかの改良された方法があります:
1、より多くのトレーニングデータ
2は、少数の使用が特長
3増加を特徴量
4、高次項増加
5を、増加または正則化パラメータλの値が減少
多くの人々は単にランダムに、すなわち、時間がかかり、非効率的、上記の方法のいずれかを選択します。次は、機械学習の評価と診断モデルをご紹介しますので。

第二に、モデル評価(評価はA仮説を示します)
1、評価を想定して:。
トレーニングの最小は時々エラーが良い仮定ではなく、特性が大きすぎると、描画機能を観察することは困難であると仮定されているものとします。
3:標準的な方法、訓練データは、第1の部分がトレーニングセットで、テスト・セットは、通常、約7秒の部分、である、二つの部分に存在します。

図2に示すように、特定の工程:
次に、我々はトレーニングプロセスは、以下の2つの部分がありモデル化することができる:
モデルパラメータをトレーニングするためにトレーニングセットを使用して、(1)θ、(コスト関数Jtrain(θ])を最小化する)、
(2)テストセットを使用して計算エラーJTEST(Θ)
線形回帰のため、エラー:

ここに画像を挿入説明

ロジスティック回帰の場合、エラー:

ここに画像を挿入説明
第三に、モデル選択とトレーニング、検証テストセット(モデルの選択と鉄道/検証/テストセット)
1、モデル選択の検証セットを使用せず。:

ここに画像を挿入説明

一般的に、最小のモデルJの選択が、これは、テスト・データ・セット用の小さなモデルエラーにすることができ、その効果は、他のデータへの良好な一般化ではありません。したがって、この方法ではうまくエラーを検証することはできません。


図2は、検証セット(クロスバリデーションセット)**を使用して
、一般的な問題を解決するために、我々は、第3のデータセット、クロスバリデーションセットをご紹介します。これはトレーニングと検証セットの間の中間層は、その後、テストセットを使用してテスト多項式dは、訓練を受けているとして、我々はオフテストセット「特別な最適化」のためのエラーを取得することはできません。比率:60%訓練セット、20%、20%テストセットのクロスバリデーションセット。

ここに画像を挿入説明

次のように3つのデータセットをエラー:

ここに画像を挿入説明
IV診断偏差と分散(分散対診断バイアス)
このセクションでは、我々は多項式Dとあまりフィットを探し、オーバーフィッティングとの関係。
まず、我々は偏差及び変動係数は、我々は良い結果を達成している影響であるかどうかを確認する必要があります
高い偏差手段少ないフィットを、データの分散度を記述するために使用され、オブジェクトモデルは単一である
とデータを記述するためにオーバーフィット高分散手段我々は、中心差分は、オブジェクトがより多くのモデルですどのくらいだった期待し
、我々はそれらのバランスをとるための良い方法を見つける必要があります。

その後、我々は定量的にオーバーフィット、あまりフィットを決定することができ、最適解のパラメータは以下のチャートに従ってdを見つけること。

ここに画像を挿入説明
第五に、正則と偏差、分散(正則とバイアス/分散)
このセクションでは、我々は正則化パラメータλと偏差、分散との関係を探してください。
より大きなλ:高偏差(underfitting)
適度λ:なし大きな問題
小さいλ:高分散(オーバーフィッティング)
大幅関数曲線を簡素化し、すべてのパラメータをθの大きいペナルティのλ値、それはあまりフィット感につながります。

その後、我々は定量的にオーバーフィッティング、あまりフィット感に次の図を決定することができ、およびラムダの最適解を見つけるために

ここに画像を挿入説明
六つは、学習曲線(曲線学習)
効果的学習曲線を使用する学習アルゴリズム偏差、分散、またはその両方かどうかを判定する。

1、学習曲線の描画:

ここに画像を挿入説明

サンプルおよびMの数の平均二乗誤差をプロットトレーニングセットとクロスバリデーションセットは、変動曲線を変化させます。


2、高偏差での学習曲線

ここに画像を挿入説明

結論:学習アルゴリズムは、アルゴリズムのパフォーマンスを向上させるための役に立たない高偏差、増加の訓練サンプルを持っている場合。

**
高分散の場合で3、学習曲線

ここに画像を挿入説明

結論:学習アルゴリズムは、高い分散を持っている場合は、トレーニングサンプルアルゴリズムが助けになっている増します。

七つの概要(再訪)
どのようにデバッグ学習アルゴリズムの
1、より多くの学習データ取得:修正高分散の場合
、高分散改正:少数の機能を使用、2を
高偏差補正:機能の量増加する3、
4、増加高次項を:高ずれ補正
5、正則化パラメータλの値が減少:高ずれ補正
6を、正則化パラメータλの値を大きく高分散を補正します

八、ニューラルネットワークの診断

ここに画像を挿入説明

一般的には、多くの場合、計算量の少ない貧しいフィッティングの問題を抱えている、左のシンプルなニューラルネットワークを選択する
計算集約的な、時にはオーバーフィッティング問題、大規模ニューラルネットワークアーキテクチャの右側を選択するために、

おすすめ

転載: www.cnblogs.com/liunaiming/p/11967128.html