正則(L1及びL2のカノニカル)

データセンタのスパース性は、0の比較的大きな割合を表します

この本は、スイカP252オリジナルを引用しました:

 

 L2ノルムに相当する機能を次L2ノルムペナルティ関数を使用して、オーバーフィッティングのリスクを減らすことができ、損失ペナルティ関数に追加リッジ回帰と呼ばれる分布を必要な必要性を満たすwは、前Wに添加される、L2ノルムガウス分布を表すデータは、L1ノルムデータは、ラプラシアン分布を表します。0を得るために、いくつかの用途L1ノルムが存在するであろうように機能し、ビューのガウス関数の点からラプラシアン画像、ラプラス関数は、0より大きな確率をとります

そして、データは、罰則のL1 L2よりも小さく、大きく、

 

<=η(W)ST R、我々はR(W)は、正則化項を表し、D(W)+λ* R(W)、最小最終目標のために最適化された、我々は分D(W)を解くに形質転換しました。

 

黄色の領域は、形質転換黄色範囲の最小値を解決するためのプロセスの同等の後、我々は追加ペナルティ項です。交点の領域ならば、我々は常に領域で、それを見つけることができる、など(W)Dの値が最小であること、なぜなら制約の大きい小さいλ限界は、取ることができ、前記最終画像に対して接線方向となり、約少しを示しました大きな程度の範囲なので、大きなオレンジ色のエリア。

 

L1ための数式から= | W 1 | + | W2 | + ... + | WN |のWi誘導体は1であり、L2 = 1/2 *(W1 ^ 2 + W2 ^ 2 + ... + WN ^ 2)、λは学習率を取って、誘導体ウィスコンシンウィスコンシンL1ノルムとして:のWi =のWi - のWi =のWiとしてλ* 1、L2ノルム - 、λ*ウィスコンシン、各時間が所定値L1を減算するように、トータル0に減少させることができ、L2それぞれとる独自の(1-λ)は、低速減少しました

参考リンク:

https://www.zhihu.com/question/37096933  王暁明、のSerジェイミー

https://vimsky.com/article/969.html

「機械学習」ズハウ・ジワ      

 

おすすめ

転載: www.cnblogs.com/lalalatianlalu/p/11464929.html