7.4.2 解的稳定性、病态矩阵、矩阵条件数

7.4.2 解的稳定性、病态矩阵、矩阵条件数

根据通解
$\mathbf{x} = \mathbf{x}_p + \mathbf{x}_z = b^U_1/\sigma_1\mathbf{v}_1 + \cdots + b^U_r/\sigma_r\mathbf{v}_r + (k_1\mathbf{v}_{r+1} + \cdots + k_{n-r}\mathbf{v}_n)\\b^U_i = \mathbf{u}^T_i\mathbf{b}为在坐标系 U 下的坐标分量,k_i是任意实数$

如果 $\mathbf{b}$ 由于测量误差或计算舍入误差变为 $\mathbf{b}+\Delta\mathbf{b}$ ，则解也会变为 $\mathbf{x} + \Delta\mathbf{x}$ ，由于零解 $k_i$ 是任意实数，所以如果考虑零解，则 $\Delta\mathbf{x}$ 由于零解的改变可任意改变，变得毫无意义。所以只考虑特解 $\mathbf{x}_p$ 的改变量 $\Delta\mathbf{x}_p$ 。

$\Delta\mathbf{x}_p = \delta b^U_1/\sigma_1\mathbf{v}_1 + \cdots + \delta b^U_r/\sigma_r\mathbf{v}_r$

因为 $\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0$ ，所以当 $\Delta\mathbf{x}_p$ 全部由分量 $\delta b^U_r$ 造成的即 $\Delta\mathbf{b} = \|\Delta\mathbf{b}\|\mathbf{u}_r$ ，则特解改变量最大，故

$max \Delta\mathbf{x}_p = \delta b^U_r/\sigma_r\mathbf{v}_r = \mathbf{u}^T_r\Delta\mathbf{b}/\sigma_r\mathbf{v}_r = \|\Delta\mathbf{b}\|/\sigma_r\mathbf{v}_r$

这是特解最大绝对改变量，与最小奇异值成反比。更有意义的是特解相对改变量大小，根据特解 $\mathbf{x}_p = b^U_1/\sigma_1\mathbf{v}_1 + \cdots + b^U_r/\sigma_r\mathbf{v}_r$ 当 $\mathbf{b} = \|\mathbf{b}\|\mathbf{u}_1$ ，特解最小

$min \mathbf{x}_p = b^U_1/\sigma_1\mathbf{v}_1 = \mathbf{u}^T_1\mathbf{b}/\sigma_1\mathbf{v}_1 = \|\mathbf{b}\|/\sigma_1\mathbf{v}_1$

所以特解最大相对改变量为

$max \frac{\|\Delta\mathbf{x}_p\|}{\|\mathbf{x}_p\|} = \frac {\|\Delta\mathbf{b}\|/\sigma_r}{\|\mathbf{b}\|/\sigma_1} = \frac {\sigma_1}{\sigma_r} \frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|}$

得到如下结论：
1、特解最大相对改变量与 $\frac {\sigma_1}{\sigma_r} \ge 1$ 成正比且大于 $\frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|}$，即会放大误差。
2、取等号条件为： $\mathbf{b} = \|\mathbf{b}\|\mathbf{u}_1$ 和 $\Delta\mathbf{b} = \|\Delta\mathbf{b}\|\mathbf{u}_r$ 。
3、所有奇异值 $\sigma_i=\sigma$ 均相等时，有 $max \frac{\|\Delta\mathbf{x}_p\|}{\mathbf{x}_p\|} = \frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|}$ 任何情况下都不会放大误差，特解最稳定。此时 $A = U \Sigma V^T = \sigma U E'_r V^T$ ，例如 $A = \sigma Q$ ， $Q$ 为正交矩阵，方程解最稳定。

为此定义如下概念

扫描二维码关注公众号，回复： 11526286 查看本文章

矩阵条件数 矩阵最大奇异值和最小奇异值之比，记为 $cond A = \frac {\sigma_1}{\sigma_r}$ 。

病态矩阵 矩阵条件数远大于 $1$ 的矩阵，病态矩阵容易因为误差而导致解的不稳定。

矩阵条件数具有如下性质： $cond A = cond A^T = cond A^{+}$ ， $cond A^TA = cond AA^T = (cond A)^2$ 。

同理可得特解最小相对改变量为

$min \frac{\|\Delta\mathbf{x}_p\|}{\mathbf{x}_p\|} = \frac {1}{cond A} \frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|}$

等号条件 $\mathbf{b} = \|\mathbf{b}\|\mathbf{u}_r$ 和 $\Delta\mathbf{b} = \|\Delta\mathbf{b}\|\mathbf{u}_1$ 。

病态矩阵很容易导致特解不稳定，但这只是必要条件不是充分条件，比如特解最小相对改变量小于 $1$ 缩小了误差，与矩阵条件数成反比，条件数越大特解反而越稳定。所以不是病态矩阵都能导致特解不稳定，要看 $\mathbf{b},\Delta\mathbf{b}$ 在坐标系 $U$ 中的位置。

如果 $A$ 由于测量误差或计算舍入误差变为 $A+\Delta A$ ，则解也会变为 $\mathbf{x} + \Delta\mathbf{x}$ ，此时有 $(A+\Delta A)(\mathbf{x} + \Delta\mathbf{x})=\mathbf{b}$ 减去 $A\mathbf{x} = \mathbf{b}$ 得 $A\Delta\mathbf{x} = -\Delta A(\mathbf{x} + \Delta\mathbf{x})$ 假设矩阵 $A$ 可逆，两边左乘 $A^{-1}$ 取范数得
$\|\Delta\mathbf{x}\| = \|A^{-1}\Delta A(\mathbf{x} + \Delta\mathbf{x})\| \le \|A^{-1}\| \|\Delta A\| \|\mathbf{x} + \Delta\mathbf{x}\| \\ \\即 \frac{\|\Delta\mathbf{x}\|}{\|\mathbf{x} + \Delta\mathbf{x}\|} \le \|A\| \|A^{-1}\| \frac{\|\Delta A\|}{\|A\|} \\因为 \|A\| \|A^{-1}\| = \frac {\sigma_1}{\sigma_r} = cond A \\ \\所以 \frac{\|\Delta\mathbf{x}\|}{\|\mathbf{x} + \Delta\mathbf{x}\|} \le cond A \frac{\|\Delta A\|}{\|A\|}$

得到类似结论，即病态矩阵很容易导致特解不稳定。