正規化と正則化

学自：

https://blog.csdn.net/weixin_36604953/article/details/102652160

https://blog.csdn.net/zenghaitao0128/article/details/78361038

https://blog.csdn.net/u012768474/article/details/99871942

正規化と正則化はどちらも、4つの機能スケーリング方法に属します。4つは次のとおりです。

正規化と呼ばれることもある再スケーリング（最小-最大正規化）
平均正規化
標準化（Zスコアの正規化）（標準化）
単位長へのスケーリング

フィーチャスケーリングは、データを変換して元のデータ列を特定の範囲に変換する方法です。

機能スケーリングの役割

機械学習では、特徴ベクトルのさまざまな特徴がさまざまな測定単位を使用することがよくあります。

例如：人的信息的特征向量：[身高，体重]
一般情况下对应的标准度量单位是[m, kg]，但是有些时候信息并不如意，可能得到的身高信息是cm。
这样身高这个特征值就会特别大。
由于两者（身高/体重）的度量单位不一样，所以数值相差可能会特别大。从而导致样本数据成为奇异值数据

ここに画像の説明を挿入

特異値データにより、目的関数が引き伸ばされるため、目的関数はフラットに見えます。このように、勾配が低下したときに簡単に逸脱します。
ここに画像の説明を挿入

特徴スケーリングの機能は、特徴ベクトルの特徴値間の数値偏差が大きくならないように、サンプルデータ（すべての特徴）をスケーリングすることです。（ユニットによって生成された過剰な値の影響を排除することと同等です）

ズーム：小さなフィーチャ値でズームインします。特徴値が大幅に減少します。（ディストリビューションは元のディストリビューションのままです）

特徴のスケーリング後、目的関数は比較的スムーズになるため、間違いが起こりやすくなります。
ここに画像の説明を挿入

正規化

ここに画像の説明を挿入

正規化とは、データの列を特定の固定間隔に変更することです。この間隔は任意の間隔にすることができます。

通常はにマップさ[0, 1]れます。にマップすることもできます[-1, 1]。

分母が最大から最小を引いたものであるため、この方法は、すべてのサンプルの各特徴を100に分割するのと似ており、各特徴はパーセンテージであるため、特徴間に次元はありません。

使用するシーン：

値が比較的集中している場合に適しています。そうでない場合、小さい数値は非常に小さくなります（集中していない最大値と最小値の差が大きいため、分母が大きすぎます）
距離測定、共分散計算、およびデータが正規分布に準拠していない場合は、最初の方法または他の正規化方法（Zスコア法を除く）を使用できます。例えば、画像処理において、RGB画像はグレースケール画像に変換され、その値は[0255]の範囲に制限される。

短所：

最大値と最小値が不安定な場合（差が大きすぎる場合）、正規化された結果を不安定にするのは簡単であり、その後の使用効果が不安定になります。

割り込むには：L2ノルムを使用すると、非線形関数も正規化できます。

L2ノルムの正規化：つまり、特徴ベクトルの各特徴要素は、特徴ベクトルのL2ノルムで除算されます。
ここに画像の説明を挿入

zスコアの標準化

ここに画像の説明を挿入

データを平均0、標準偏差1の分布に変換します（通常の状況での標準正規分布）。覚えておいてください、それは必ずしも正規分布ではありません

たとえば、このディストリビューションはpytorchのLayerNormレイヤーで使用されます。ここに画像の説明を挿入

分母がゼロにならないように、分母に小さな値を追加します。

これは、分布によって引き起こされる測定偏差を排除するために使用されます。

標準化により、サンプル間隔がより適切に維持されます。サンプルに異常な点がある場合、正規化によって正常なサンプルが一緒に「圧迫」されることがあります。たとえば、3つのサンプルでは、特定の機能の値は1、2、10000です。10000の値が異常な値であると仮定すると、正常な1、2は一緒に「圧縮」されます。残念ながら、1と2の分類ラベルがまだ反対である場合、分類モデルのトレーニングに最急降下法を使用すると、サンプルを分離するのにより多くの労力がかかるため、モデルの収束に時間がかかります。そして、標準化はこの点で良い仕事をします、少なくともそれはサンプルを「一緒に絞る」ことはありません。

したがって、サンプル間隔がある場合は、zスコアの標準化を使用してください。

使用するシーン：

元のデータがガウス分布（正規分布）に類似している場合に使用され、データをスケーリングします。
分類およびクラスタリングアルゴリズムでは、類似性を測定するために距離が必要な場合、またはPCAテクノロジーを使用して次元削減を行う場合、Zスコアの標準化のパフォーマンスが向上します。

zスコアを使用した正規化された分布は、必ずしも正規分布ではないことに注意してください。標準化後、標準偏差と平均のみが変更され、元の分布タイプは変更されていません。詳細については、上記の最初のブログを参照してください。ブロガーが詳細な手順を説明しています。

接続と違い

接続：どちらも元のデータの順序を変更しない線形変換です。

差：

正規化は、変換されたデータの範囲を厳密に制限します。したがって、正規化は距離情報を含むデータには適していません（距離を使用して測定）

標準化された変換後のデータには、厳密なスコープ制限はありません。平均が0で、標準偏差が1であるだけです。
正規化されたズーム率は、極値にのみ関連しています。（スケーリング比= Xmax-Xmin）

正規化されたズーム率は、すべての数値に関連しています。（数値を変更すると、高確率の平均と標準偏差が変化します。）
標準化された変換後、データには厳密な範囲制限はありません。平均が0で、標準偏差が1であるだけです。
正規化されたズーム率は、極値にのみ関連しています。（スケーリング比= Xmax-Xmin）

正規化されたズーム率は、すべての数値に関連しています。（数値を変更すると、確率の平均と標準偏差が変化します）