矩阵分析 (四)向量和矩阵的范数

我的微信公众号名称：AI研究订阅号
微信公众号ID：MultiAgent1024
公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！

  我们曾经用内积定义了向量空间中一个元素的长度，它是几何长度的推广，利用这个长度的概念我们可以讨论极限、逼近的问题。在分析解决这些问题时最重要的是利用了长度的基本性质、非负性、齐次性和三角表达式。

向量的范数

范数的定义

• 定义4.1：若对任意的 $x \in C^{n}$都有一个实数 $||x||$与之对应，且满足：

1. 非负性： $x \neq 0$时， $||x||>0$，当 $x=0$时， $||x||=0$;
2. 齐次性：对任意的 $k \in C$， $||kx||=|k| \cdot ||x||$；
3. 三角不等式：对任意的 $x$， $y$ $\in C^{n}$都有：

$||x+y|| \leq ||x|| + ||y||$

  则称 $||x||$为 $C^{n}$上的向量范数，简称向量范数。

几种常见的范数

• 2范数

  设：

$x=(x_{1},x_{2}, \cdots, x_{n})^{T} \in C^{n}$

  规定：

$||x||_{2} = \sqrt{\sum_{i=1}^{n}|x_{i}|^{2}}$

  很容易证明这是范数，叫作向量的2范数。2范数在酉变换下不变。

• 1范数

  设：

$x \in C^{n}$

  规定：

$||x||_{1} = \sum_{i=1}^{n}|x_{i}|$

  则 $||x||_{1}$是范数，叫做向量的1范数。

• 向量的 $\infty$范数

  设：

$x \in C^{n}$

  规定：

$||x||_{\infty} = max_{i}|x_{i}|$

  则 $||x||_{\infty}$是范数，叫做向量的 $\infty$范数。

• 向量的 $p$范数

  设 $x \in R^{n}$，规定，

$||x||_{p} = (\sum |x_{i}|^{p})^{\frac{1}{p}}$

  则 $||x||_{p}$也是范数，叫做向量的 $p$范数。

• 其它：

  规定：

$||f||=max|f(x)|$

  则 $||f||$是函数的范数

  在连续函数的空间中，规定：

$||f(x)|| = \int_{a}^{b} |f(x)|dx$

  则 $||f||$也是范数。

生成范数

  在一个向量空间之中可以构造无穷多种范数，前面所述只是最常用的范数。下面给出从已知范数构造新的向量范数的方法。

• 例4 设：

$x=(x_{1},x_{2}, \cdots, x_{n})^{T} \in C^{n}$

  规定

$||x||=a||x||_{1} + b||x||_{2} \ \ \ (a,b > 0)$

  则 $||x||$是范数。

• 例5 设 $A \in C_{n}^{m \times n}$， $|| \cdot ||_{a}$是 $C^{m}$上的一种范数，对于任意的 $x \in C^{n}$，规定 $||x||=||Ax||_{a}$，则 $||x||$是 $C^{n}$上的范数。

  由于矩阵 $A$可以有无穷多，所以用这种方法可以构造无穷多种范数。

范数的等价

• 定义4.2：给定 $C^{n}$上的向量序列 $\{x^{k}\}$，其中

$x^{k}=(x_{1}^{k}，x_{2}^{k}，\cdots ,x_{n}^{k}) \ \ \ (k=1,2,\cdots)$

  如果：

$lim_{\infty} x_{i}^{k} = x_{i}$

  则称 $\{x^{k}\}$收敛，记作：

$lim_{k \rightarrow \infty} x^{k} = x$

  不收敛的序列叫作发散序列。

• 定理4.1 $C^{n}$中的向量序列 $\{x^{k}\}$收敛于 $x$的充分必要条件是，对于 $C^{n}$上的范数 $||\cdot||_{\infty}$，

$lim_{\infty}||x^{k}-x||_{\infty} = 0$

  收敛是向量序列的性质，这种性质不应该受到度量方式的影响，也就是一个向量序列在一种范数的意义下收敛，那么它在另一种范数的意义下也应该收敛。一个空间中的序列在一种范数下收敛，那么它在另一种范数下也是收敛的。

• 定义4.3 设 $||x||_{a}$和 $||x||_{b}$是 $C^{n}$上的两种向量范数，如果存在正数 $k$和 $l$使得对于任意的 $x$都有：

$k||x||_{b} \leq ||x||_{a} \leq l ||x||_{b}$

  则称向量范数 $||x||_{a}$和 $||x||_{b}$等价。

• 定理4.2： $C^{n}$空间上所有范数等价。

  即若 $\{x^{k}\}$在 $||\cdot||_{\infty}$意义下收敛，则 $\{x^{k}\}$在 $||x||$意义下也收敛。向量序列的收敛不受范数选择影响。

  同一个向量在不同的范数下长度一般不同，如：

$x=(1,1,\cdots ,1) \in C^{n}$

  则：

$||x||_{2} = \sqrt{n}，||x||_{1} = n , \ ||x||_{\infty}=1$

  相差很大，但是在讨论收敛时，效果也是一样的，但是要注意，这里讨论的是有限维的空间，无穷维空间可以不等价。

矩阵的范数

  由于一个 $m \times n$矩阵可以看作 $m \times n$维向量，因此可以按照定义向量范数的方法来定义矩阵范数，但是矩阵之间还有矩阵的乘法，在研究矩阵范数时应该给予考虑。

方阵的范数

• 定义4.4 ：若对于任意的 $A \in C^{n \times n}$都有一个实数 $||A||$与之对应，且满足：

1. 非负性： $A \neq O$， $||A|| >0$； $A=O$， $||A||=0$；
2. 齐次性：对任意的 $k \in C$:

$||kA||=|k|\ ||A||$

3. 三角不等式：对任意的 $A，B \in C^{n \times n}$，

$||A+B|| \leq ||A|| +||B||$

4. 相容性：对任意的 $A，B \in C^{n \times n}$都有 $||AB|| \leq ||A|| \cdot ||B||$

  则称 $||A||$为 $C^{n \times n}$上矩阵的范数，简称矩阵范数。

• 由于定义中的前三条与向量范数一致，因此矩阵范数有与向量范数有类似的性质，如：

$||-A|| = ||A||，| \ \ || A|| -||B|| \ \ | \leq ||A-B||$

  以及 $C^{n \times n}$上的两个矩阵范数等价。

常用的范数

• 矩阵 $m_{1}$范数：

  与 $||x||_{1}$相仿，设 $A=(a_{ij})_{n \times n} \in C^{n \times n}$，规定：

$||A||_{m_{1}} = \sum_{i,j} |a_{ij}|$

  则 $||A||_{m_{1}}$是 $C^{n \times n}$上的矩阵范数，称为 $m_{1}$范数。

• 矩阵 $F$范数：

  与 $||x||_{2}$相仿，对于 $A=(a_{ij})_{n \times n}$，规定：

$||A||_{F} = \sqrt{\sum_{i,j}|a_{ij}|^{2}}=\sqrt{tr(A^{H}A)}$

  则 $||A||_{F}$是 $C^{n \times n}$上的一种矩阵范数，称为矩阵的Frobenius范数，简称 $F$范数。

• 矩阵的 $\infty$范数：

  设 $A=(a_{ij})_{n \times n}$，规定：

$||A||_{m_{\infty}} = n \cdot max_{i,j} |a_{ij}|$

  则 $||A||_{m_{\infty}}$是 $C^{n \times n}$上的矩阵范数。

与向量范数的相容性

• 定义4.5：设 $||\cdot||_{m}$是 $C^{n \times n}$上的矩阵范数， $||\cdot||_{v}$是 $C^{n}$上的向量范数，对任意的 $A \in C^{n\times n}$， $x \in C^{n}$，都有：

$||AX||_{v} \leq ||A||_{m}||x||_{v}$

  则称矩阵范数 $||\cdot||_{m}$与向量范数 $||\cdot||_{v}$是相容的。

• $C^{n \times n}$上的 $m_{1}$范数与 $C^{n}$上的1范数相容。
• $C^{n \times n}$上的 $F$范数与 $C^{n}$上的2范数相容。

用矩阵范数来定义向量范数

• 设 $||\cdot||$是 $C^{n \times n}$上的一种矩阵范数，则在 $C^{n}$上可以定义一种向量范数。以二维空间为例，如设 $x \in C^{2}$，取 $\alpha=(\alpha_{1}，\alpha_{2})^{T} \neq 0$ ,设 $||\cdot||_{m_{1}}$是 $C^{2 \times 2}$中的范数，任取：

$A=(a_{ij})_{2 \times 2} \in C^{2 \times 2}$

  则：

$||A||_{m_{1}} = |a_{11}|+|a_{12}|+|a_{21}|+|a_{22}|$

  现在任取：

$x \in C^{2}，x =(x_{1},x_{2})^{T}$

  则：

$x \alpha^{H}=\left(\begin{array}{l} {x_{1}} \\ {x_{2}} \end{array}\right)\left(\bar{\alpha}_{1} \quad \bar{\alpha}_{2}\right)=\left(\begin{array}{ll} {x_{1} \bar{\alpha}_{1}} & {x_{1} \bar{\alpha}_{2}} \\ {x_{2} \bar{\alpha}_{1}} & {x_{2} \bar{\alpha}_{2}} \end{array}\right)$

  是 $C^{2 \times 2}$的矩阵。规定：

$\|x\|=\left\|x \alpha^{\mathrm{H}}\right\|_{m_{1}}=\left|x_{1} \bar{\alpha}_{1}\right|+\left|x_{1} \bar{\alpha}_{2}\right|+\left|x_{2} \bar{\alpha}_{1}\right|+\left|x_{2} \bar{\alpha}_{2}\right|$

  则在 $C^{2}$中定义了一种运算。

• 如取：

$\alpha = (1,2)^{T}，x=(1,1)^{T}$

  则：

$\|x\|=\left\|x \alpha^{H}\right\|_{m_{1}}=\left\|\left(\begin{array}{l} {1} \\ {1} \end{array}\right)(1,2)\right\|_{m_{1}}=6$

  取：

$\alpha = (1,i)^{T},x=(1,1)$

  则：

$||x||=||x \alpha^{H}||_{m_{1}}=4$

• 定理4.3：设 $||\cdot||$是 $C^{n \times n}$上的一种范数，则在 $C^{n}$上必存在与它相容的向量范数。

从属范数

  前面介绍了由矩阵范数定义向量范数的方法，接下来将要介绍由向量范数来定义矩阵范数的方法。

  我们知道，单位矩阵在矩阵的乘法中的作用类似于1在乘法中的作用。但是对于已经知道的矩阵范数，如 $m_{1}$， $F$， $m_{\infty}$范数， $n$阶单位矩阵 $E$的范数。

$||E||_{m_{1}} = n，||E||_{F} = \sqrt{n}，||E||_{m \infty} = n$

  能否构造出使得 $||E||=1$的范数呢？

• 定理4.4：已知 $C^{n}$上的向量范数 $||\cdot||_{v}$，对于任意的 $A \in C^{n \times n}$，规定：

$||A|| = max_{x \neq 0} \frac{||Ax||_{v}}{||x||_{v}}$

  则 $||A||$是 $C^{n \times n}$上的矩阵范数，称为由向量范数 $||\cdot||_{v}$导出的矩阵范数，简称导出范数或者从属范数。

从属范数的计算

  从属范数的计算是求多元函数的最大值，计算并不容易，我们只就向量的1，2， $\infty$导出的矩阵范数分别是 $||A||_{1}$， $||A||_{2}$， $||A||_{\infty}$，则：

1. $||A||_{1} = max_{j} \sum_{i=1}^{n} |a_{ij}|$。
2. $||A||_{\infty} = max_{i} \sum_{j=1}^{n}|a_{ij}|$。
3. $||A||_{2} = \sqrt{\lambda_{1}}$， $\lambda_{1}$为 $A^{H}A$的最大特征值。

   $||A||_{1}$是矩阵 $A$的元素取模，然后把每一列元素加起来，取这些列和的最大值。而 $||A||_{\infty}$是把每行的模加起来，然后取最大值。

范数的应用举例

• 定义4.6：设 $A \infty C^{n \times n}$， $\lambda_{1},\lambda_{2},\cdots,\lambda_{n}$是 $A$的 $n$个特征值，称 $\rho(A) = max_{i}|\lambda_{i}|$为 $A$的谱半径，即 $A$的谱半径是 $A$的特征值模的最大值。

• 定理4.6：设 $A \in C^{n \times n}$，则对 $C^{n \times n}$上的任何一个矩阵范数 $||\cdot||_{m}$，都有：

$\rho(A) \leq ||A||_{m}$

• 定理4.7：设 $A \in C^{n \times n}$，任取一个正数，都可以找到一个矩阵范数 $||\cdot||$，使得：

$||A|| \leq \rho(A) + \varepsilon$