Googleの機械学習ノート(B)

簡単にするために簡素化正則化正則

正則の簡略化のため。
正則:オーバーフィッティング法を減らすために、モデルの複雑さを軽減します。

まず、意味の正則を理解する:サンプルに応じて原則に過度の信頼を置かないでください。
トレーニングセットがあり独特の乱れ特殊性を(言語は完全に話すの人のやり方かどうかを学習する際、誤って中毒を開くことから多くのことを学びます類推により学習)
正則化法がある:
1、停止までの時間では(ない簡単に把握することは、困難)
(罰するためにモデルの複雑さに、2使用して)モデルが制限複雑にしないことL2正則
汎化曲線
正具体正則を有するL2を
・複雑さ(モデル)=重量二乗和
非常に大きな重量を低減
線形確率、好ましくは比較的緩やかな傾斜-for
・バイエルアダムス第1の確率:0重量センタリングされるべきであり、正規分布
ここに画像を挿入説明
ここに画像を挿入説明
L:トレーニングエラー低減する
ラムダ:定期的な速度を、重量バランス右スカラー値を制御する方法であり、モデルが複雑記述するために使用される
複雑さのバランスをとるた:DETA
上下に2回:標準化された四角の重量

アイテムの正則全体的な影響を調整するためのラムダ*正則化項=ラムダ*複雑さ(モデル)
モデルの高いラムダ値は単純である
唯一の目的のために>のみ最小限の訓練-ラムダ値は、モデルの複雑さは、ラムダ= 0が完全に解除された正則化が低いです損失- >オーバーフィッティングのリスクが最も高いながら、

該当正則:
より多くのデータを訓練ではない、トレーニングデータやテストデータが異なっている、それはクロスバリデーション・テスト・セットまたは個別に調整を使用する必要があります。
目標:構造、リスクの最小化。
ここに画像を挿入説明

リリース5元の記事 ウォンの賞賛2 ビュー164

おすすめ

転載: blog.csdn.net/DUTwangtaiyu/article/details/104669954