向量与矩阵范数的详细解读

一、向量

• L0范数：向量中非零元素的个数，也称为0范数
• L1范数：为绝对值之和，也称为范数或者1范数
• L2范数：通常意义上的模，也称为2范数
• p范数：即向量元素绝对值的$p$次方和的$1/p$次幂
• $\infty$范数：取向量的最大值
• $-\infty$范数：取向量的最小值

假设有向量$x=(x_1,x_2,\dots ,x_n{)}^T$，向量的范数有：
$$||x|{|}_1=|x_1|+|x_2|+\cdots +|x_n|$$

$$||x|{|}_2=(|x_1|+|x_2|+\cdots +|x_n|{)}^{\frac{1}{2}}$$

$$||x|{|}_p=(|x_1|+|x_2|+\cdots +|x_n|{)}^{\frac{1}{p}}$$

∣ ∣ x ∣ ∣ ∞ = max ⁡ { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{\infty} = \max\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x∣∣∞​=max{ ∣x1​∣+∣x2​∣+⋯+∣xn​∣}

∣ ∣ x ∣ ∣ − ∞ = min ⁡ { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{-\infty} = \min\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x∣∣−∞​=min{ ∣x1​∣+∣x2​∣+⋯+∣xn​∣}

二、矩阵

矩阵范数主要有以下三类，切记，三类范数不一样！！

2.1、诱导范数

又称为算子范数，定义矩阵A位于矩阵空间 ${\mathbb{R}}^{m\times n}$ 上
∣ ∣ x ∣ ∣ = max ⁡ { ∣ ∣ A x ∣ ∣ ; x ∈ R n , ∣ ∣ x ∣ ∣ = 1 } = m a x { ∣ ∣ A x ∣ ∣ ∣ ∣ x ∣ ∣ , x ∈ R n , x ≠ 0 } ||x||= \max\{||Ax||;x\in \mathbb{R}^n,||x||=1 \} = max\left\{ \frac{||Ax||}{||x||}, x\in \mathbb{R}^n,x\ne 0 \right\} ∣∣x∣∣=max{ ∣∣Ax∣∣;x∈Rn,∣∣x∣∣=1}=max{ ∣∣x∣∣∣∣Ax∣∣​,x∈Rn,x=0}
常用诱导范数为p范数，也称为 $L_p$ 范数
$$||A|{|}_p=max\left\{\frac{||Ax|{|}_p}{||x|{|}_p},x\ne 0\right\}$$
0范数：矩阵中非零元素的个数。

1范数又称为列范数
$$||A|{|}_1=\max \sum _{i=1}^m|a_{ij}|,1\le j\le n$$
无穷范数又称为行范数
$$||A|{|}_{\infty }=\max \sum _{j=1}^n|a_{ij}|,1\le i\le n$$
2范数又称为谱范数，矩阵的谱范数为矩阵的最大奇异值
$$||A|{|}_{spec}=||A|{|}_2={\sigma }_{max}(A)=\sqrt{{\lambda }_{max}(A^{T}A)}$$
${\sigma }_{max}$ 表示求矩阵的最大奇异值，spec是谱的意思

2.2、元素范数

将 $m\times n$ 矩阵先按照列堆栈的形式，排列成一个 $mn\times 1$ 向量，然后采用向量的范数定义，即得到矩阵的范数
$$||A|{|}_P={\left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^p\right)}^{\frac{1}{p}}$$
1范数又称为和范数或者L1范数
$$||A|{|}_1=\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|$$
2范数又称为Forbenius范数
$$||A|{|}_F=||A|{|}_2={\left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2\right)}^{\frac{1}{2}}=\sqrt{tr(A^{H}A)}$$
$\infty$ 范数又称为最大范数
∣ ∣ A ∣ ∣ p = max ⁡ { ∣ a i j ∣ } ||A||_p = \max\{ |a_{ij}| \} ∣∣A∣∣p​=max{ ∣aij​∣}

2.3、Schatten范数

用矩阵的奇异值定义的范数，令矩阵的奇异值组成一个向量 $\sigma =\left[\begin{array}{cccc}{\sigma }_1& {\sigma }_2& \dots & {\sigma }_k\end{array}\right]$ , $k=\min (m,n)$

p范数定义如下
$$||A|{|}_p=||\sigma |{|}_p=(\sum _{i=1}^k{\sigma }_i^p{)}^{\frac{1}{p}}$$
p=1，也称为核范数，为矩阵奇异值之和
$$||A|{|}_1=\sum _{i=1}^k{\sigma }_i=tr(\sqrt{A^{H}A})$$
p=2，Schattern范数与Frobenius等价

$$||A|{|}_1=(\sum _{i=1}^k{\sigma }_i^2{)}^{\frac{1}{2}}=\sqrt{tr(A^{H}A)}={\left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2\right)}^{\frac{1}{2}}$$

p=$\infty$，Schattern范数与谱范数相同

$$||A|{|}_{\infty }={\sigma }_{max}(A)$$