著者: 禅とコンピュータープログラミングの芸術
1 はじめに
機械学習の分野では、正則化は過学習を防ぐ方法です。正則化により、モデルをより効果的に新しいデータに一般化し、アンダーフィッティングを回避できます。しかし、一般にモデルが複雑なために一般化能力が不十分であるという問題が生じます。したがって、正則化は過学習を防ぐ重要な手段です。機械学習で一般的に使用される正則化手法には、ラッソ回帰、リッジ回帰、エラスティック ネット、リッジ回帰、ベイジアン リッジ回帰などが含まれます。この記事では、まず正則化の概念と関連概念を紹介し、次に機械学習における一般的な正則化手法をいくつか紹介します。最後に、実際のコード例を通じて、さまざまな正則化方法の効果を示します。
2. 正則化の概念と関連用語
2.1 正則化の概念
正則化は、モデルをトレーニング データによりよく適合させるためにペナルティ項を導入することでモデルの複雑さを制限する機械学習方法です。多くの場合、この制限によりモデルの分散が減少し、それによってモデルが複雑になりすぎることがなくなり、モデルの堅牢性が向上します。正則化は、モデル パラメーターの推定値の分散を減らし、ノイズの影響を減らし、モデルの予測精度を向上させるのに役立ちます。正則化によりモデルの複雑さが軽減されるため、モデルの過剰適合が抑制され、フィッティング誤差が減少すると同時に、モデルの説明力も向上します。正則化とは、線形モデルの処理方法であり、重みのノルムが特定のしきい値よりも小さくなるように重み行列を調整することです。
2.2 正則化項
正則化のプロセスでは、正則化項がペナルティ項として導入され、主にモデルの複雑さを制御するために使用されます。例えば、最小二乗法で解いた線形回帰モデルでは、モデルが複雑すぎると過学習が発生しますが、このとき正則化項を導入することでモデルの複雑さを抑制し、過学習の影響を軽減することができます。 。
正則化用語の定義については、次の 3 つのカテゴリに分類できます。
L1 正則化項