Norm (ノルム): LP、L0、L1、L2 ノルムの簡単な説明

規範とは何ですか?

距離の定義は広い概念であり、非負、再帰、三角不等式を満たす限り、それを距離と呼ぶことができることはわかっています。Norm は距離の強化された概念であり、定義上の距離よりも乗算のアルゴリズムが 1 つ多いです。理解を容易にするために、標準を距離として理解することがあります。

数学では、ノルムにはベクトルノルムと行列ノルムが含まれます。ベクトルノルムはベクトル空間内のベクトルのサイズを特徴付け、行列ノルムは行列によって引き起こされる変化の大きさを特徴付けます。厳密ではない説明としては、ベクトルノルムに対応して、ベクトル空間内のベクトルにはサイズがあるということです。このサイズを測定する方法はノルムによって測定されます。メートルとメートルの両方と同じように、このサイズを測定するために異なるノルムを使用できます。フィートは距離を測定するために使用できます。行列ノルムについては、線形代数を学習した後、AX=Bを計算することでベクトル X を B に変更できることがわかり、行列ノルムはこの変化の大きさを測定するために使用されます。

ここでは、次のベクトル規範の定義と意味を簡単に紹介します。

1. LP ノルム

ミンコフスキー距離の定義と同様、LP ノルムはノルムではなく、次のように定義される一連のノルムです。

P の変化に応じて、ノルムにもさまざまな変化が生じます。P ノルムの典型的な変化図は次のとおりです。

ここに画像の説明を書きます

上図は、3次元空間上で原点からの距離（ノルム）が1の点で構成されるグラフが、pが無限大から0に変化したときの変化を示しています。一般的な L-2 ノルム (p=2) を例にとると、このときのノルムもユークリッド距離であり、原点からのユークリッド距離が 1 である空間上の点は球を形成します。
実際、0 では Lp は三角不等式の性質を満たさないため、厳密な意味ではノルムではありません。例として、p=0.5、2 次元座標 (1,4)、(4,1)、(1,9) を考えます。したがって、ここでの LP 規範は概念的に広範な記述にすぎません。

2. L0 ノルム

P=0 の場合、それは L0 ノルムです。上からわかるように、L0 ノルムは実際のノルムではありません。主にベクトル内の非ゼロ要素の数を測定するために使用されます。上記の LP 定義で取得できる L-0 の定義は次のとおりです。

ここには少し問題があります。非ゼロ要素のゼロ乗が 1 であることはわかっていますが、ゼロのゼロ乗とゼロ以外の数のゼロ乗はすべて幽霊です。説明するのは非常に困難です。 L0 の意味なので、通常の状況では、誰もが次のように使用します。

ベクトル x 内のゼロ以外の要素の数を示します。L0 ノルムの場合、最適化問題は次のとおりです。

st Ax=b

実際のアプリケーションでは、L0 ノルム自体が適切な数学的表現を持つのは容易ではないため、上記の問題を形式的に表現することは困難な問題であるため、NP 困難問題と考えられます。したがって、実際の状況では、L0 の最適化問題は、L1 または L2 での最適化に緩和されます。

3. L1 ノルム

L1 ノルムはよく目にするノルムであり、その定義は次のとおりです。

ベクトル x の非ゼロ要素の絶対値の合計を表します。
L1 ノルムには、おなじみのマンハッタン距離、最小絶対誤差など、さまざまな名前があります。L1 ノルムを使用して、絶対誤差の合計 (絶対差の合計) など、2 つのベクトル間の差を測定します。

L1 ノルムの場合、その最適化問題は次のとおりです。

L1 ノルムの自然な性質により、L1 最適化の解はスパースな解となるため、L1 ノルムはスパースルール演算子とも呼ばれます。まばらな特徴は L1 を通じて実現でき、一部の非有益な特徴は削除できます。たとえば、ユーザーの映画の好みを分類する場合、ユーザーは 100 の特徴を持っていますが、分類に役立つ特徴は十数個しかない可能性があります。身長、体重などは役に立たない可能性があり、L1 ノルムを使用して除外できます。