【数值计算方法（黄明游）】解线性代数方程组的迭代法（一）：向量、矩阵范数与谱半径【理论到程序】

  注意：速读可直接跳转至“4、知识点总结”及“5、计算例题”部分

一、向量、矩阵范数与谱半径

  当涉及到线性代数和矩阵理论时，向量、矩阵范数以及谱半径是非常重要的概念，下面将详细介绍这些内容：

1、向量范数

a. 定义及性质

  考虑一个 $n$ 维向量 $x$，定义一个实值函数 $N(x)$，记作 $N(x)=\Vert x\Vert$。如果 $N(x)$ 满足以下条件，那么它就是 $x$ 上的一个向量范数（或向量模）：

1. 非负性： $N(x)\ge 0$，且 $N(x)=0$当且仅当 $x$ 是零向量。

$$\Vert x\Vert \ge 0$$$$\Vert x\Vert =0\text{ 当且仅当 }x=0$$

2. 齐次性： 对于任意实数 $\alpha$（或复数），有 $N(\alpha x)=|\alpha |\cdot N(x)$。

$$\Vert \alpha x\Vert =|\alpha |\cdot \Vert x\Vert$$

3. 三角不等式： 对于任意向量 $x$ 和 $y$，有 $N(x+y)\le N(x)+N(y)$。

   $$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$$

补充解释

• 非负性： 范数是非负的，即它不会为负值。当且仅当向量是零向量时，范数为零。

• 齐次性： 范数在缩放（乘以常数）下保持一致，即放大或缩小向量会按比例影响其范数。

• 三角不等式： 范数的三角不等式表示通过两边之和的方式度量两个向量之间的距离。它确保了向量空间中的“三角形”不会变得扭曲。

范数差

  由上述三角不等式可推导出： $$\Vert x-y\Vert \ge |\Vert x\Vert -\Vert y\Vert |$$

• 推导过程
  • 根据向量范数的三角不等式，对于任意向量 $x$ 和 $y$，有：$$\Vert x-y\Vert \le \Vert x\Vert +\Vert y\Vert$$ 其中

b. 常见的向量范数

$l_1$、$l_2$、$l_{\infty }$ 范数

  对于一个 $n$维向量 $x=(x_1,x_2,\dots ,x_n)$ ：

1. $l_1$ 范数：
   $$\Vert x{\Vert }_1=\sum _{i=1}^n|x_i|$$

2. $l_2$ 范数：
   $$\Vert x{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$

3. $l_{\infty }$ 范数：
   $$\Vert x{\Vert }_{\infty }=\underset{1\le i\le n}{\max }|x_i|$$

性质

• 非负性：

  $$\Vert x{\Vert }_1,\Vert x{\Vert }_2,\Vert x{\Vert }_{\infty }\ge 0$$

• 齐次性： 对于每个 $x$ 和标量 $\alpha$，这三种范数都满足齐次性，即
  $$\Vert \alpha x{\Vert }_1=|\alpha |\cdot \Vert x{\Vert }_1$$ $$\Vert \alpha x{\Vert }_2=|\alpha |\cdot \Vert x{\Vert }_2$$ $$\Vert \alpha x{\Vert }_{\infty }=|\alpha |\cdot \Vert x{\Vert }_{\infty }$$

• 三角不等式： 对于每对向量 $x$ 和 $y$，这三种范数都满足三角不等式：
  $$\Vert x+y{\Vert }_1\le \Vert x{\Vert }_1+\Vert y{\Vert }_1$$$$\Vert x+y{\Vert }_2\le \Vert x{\Vert }_2+\Vert y{\Vert }_2$$$$\Vert x+y{\Vert }_{\infty }\le \Vert x{\Vert }_{\infty }+\Vert y{\Vert }_{\infty }$$

关系

• $l_1$ 范数、$l_2$ 范数、$l_{\infty }$ 范数之间存在关系：
  $$\Vert x{\Vert }_{\infty }\le \Vert x{\Vert }_2\le \sqrt{n}\Vert x{\Vert }_{\infty }$$ $$\Vert x{\Vert }_{\infty }\le \Vert x{\Vert }_1\le n\Vert x{\Vert }_{\infty }$$

2、矩阵范数

a. 矩阵的范数

  矩阵的范数是定义在矩阵空间上的实值函数，用于度量矩阵的大小或度量。对于一个矩阵 $A$，矩阵范数通常表示为 $N(A)$ 或 $||A||$，满足以下条件：

1. 非负性（Non-negativity）：对于任意矩阵 $A$，有 $N(A)\ge 0$，且等号成立当且仅当 $A$ 是零矩阵。

2. 齐次性（Homogeneity）：对于任意标量 $k$ 和矩阵 $A$，有 $N(kA)=|k|\cdot N(A)$。

3. 三角不等式（Triangle Inequality）：对于任意两个矩阵 $A$ 和 $B$，有 $N(A+B)\le N(A)+N(B)$。

b. 常见的矩阵范数

相容范数

• 对于任意两个矩阵 $A$ 和 $B$，有 $||AB||\le ||A||\cdot ||B||$，这被称为相容性质。
• 对于任意矩阵 $A$ 和向量 $x$，有 $||Ax||\le ||A||\cdot ||x||$，这也是相容性质。

算子范数

具体而言，常用的算子范数是 $p$范数，其中 $p$ 是一个实数。

• 当 $p=\infty$ 时，算子范数被定义为矩阵行的绝对值之和的最大值。即，
  $$||A|{|}_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n|a_{ij}|$$
• 当 $p=1$ 时，算子范数被定义为矩阵列的绝对值之和的最大值。即，
  $$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$$
• 当 $p=2$ 时，算子范数被定义为 $A$ 的谱半径。谱半径是矩阵的特征值的按模最大值，表示为 $$p(A)=\max |\lambda |$$其中 $\lambda$ 是 $A$ 的特征值。

3、谱半径

  待完善……

4、知识点总结

1. 向量范数

• $l_1$ 范数（曼哈顿范数）：
  $$||x|{|}_1=\sum _{i=1}^n|x_i|$$

• $l_2$ 范数（欧几里得范数）：
  $$||x|{|}_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$

• $l_{\infty }$ 范数（无穷范数）：
  $$||x|{|}_{\infty }=\underset{1\le i\le n}{\max }|x_i|$$

2. 矩阵范数

• 弗罗贝尼乌斯范数（矩阵中每项数的平方和的开方值）
  $$||A|{|}_F=\sqrt{\sum _{i=1}^n\sum _{j=1}^n|a_{ij}{|}^2}$$
• 算子范数
  • 行和范数：当 $p=\infty$ 时，算子范数被定义为矩阵中各行元素按绝对值求和所得的最大和数，即，
    $$||A|{|}_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n|a_{ij}|$$
  • 列和范数：当 $p=1$ 时，算子范数被定义为
    矩阵列的绝对值之和的最大值。即，
    $$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$$
  • 当 $p=2$ 时，算子范数即$A$ 的谱半径,谱半径是矩阵的特征值的按模最大值
    $$||A|{|}_2=\sqrt{{\lambda }_{\text{max}}(A^{T}A)}=p(A)=\max |\lambda |$$

3. 谱半径

  谱半径是矩阵的特征值按模最大的那个值，对于一个 $n\times n$ 的矩阵 $A$，其谱半径 $p(A)$ 定义为：

p ( A ) = max ⁡ { ∣ λ ∣   ∣   λ  是  A  的特征值 } p(A) = \max \{|\lambda| \ | \ \lambda \text{ 是 } A \text{ 的特征值}\} p(A)=max{ ∣λ∣ ∣ λ 是 A 的特征值}

5、计算例题

对于矩阵 $$A=\left[\begin{array}{cc}2& 1\\ -1& 4\end{array}\right]$$计算其各种范数：

∥ A ∥ 1 = max ⁡ j ∑ i ∣ a i j ∣ = max ⁡ { 3 , 5 } = 5 \|A\|_1 = \max_j \sum_i |a_{ij}| = \max\{3, 5\} = 5 ∥A∥1​=jmax​i∑​∣aij​∣=max{ 3,5}=5

∥ A ∥ ∞ = max ⁡ i ∑ j ∣ a i j ∣ = max ⁡ { 3 , 5 } = 5 \|A\|_\infty = \max_i \sum_j |a_{ij}| = \max\{3, 5\} = 5 ∥A∥∞​=imax​j∑​∣aij​∣=max{ 3,5}=5

$$\Vert A{\Vert }_2=\sqrt{{\lambda }_{\text{max}}(A^{T}A)}$$

计算 $A^{T}A$ 的特征值，找到最大特征值 ${\lambda }_{\text{max}}$：

$$A^{T}A=\left[\begin{array}{cc}5& -2\\ -2& 17\end{array}\right]$$

特征值为 ${\lambda }_1=11+2\sqrt{10}$, ${\lambda }_2=11-2\sqrt{10}$。

$$\Vert A{\Vert }_2=\sqrt{{\lambda }_{\text{max}}}=\sqrt{11+2\sqrt{10}}=4.162277$$

3. 谱半径：

   p ( A ) = max ⁡ { ∣ λ ∣ } = 3 p(A) = \max \{|\lambda|\} =3 p(A)=max{ ∣λ∣}=3

   对$A$ 求特征值，找到最大的绝对值。

• 1范数：5
• ∞范数：5
• 2范数：4.162277
• 谱半径：3