5.2 最优近似解 $\mathbf{\hat{x}} = A^{-1}_L\mathbf{b}$ 是最小二乘解

5.2 最优近似解 $\mathbf{\hat{x}} = A^{-1}_L\mathbf{b}$ 是最小二乘解

根据平面几何定理，点到直线的距离，垂线最短，推广到高维，即点到子空间的距离，垂线最短。根据投影性质，向量 $\mathbf{b}_p$ 是向量 $\mathbf{b}$ 在子空间 $col A$ 的垂足，向量 $\mathbf{b}-\mathbf{b}_p$ 是垂线，距离最短，又 $\mathbf{b}_p = A\mathbf{\hat{x}}$ ，得

$\| \mathbf{b}-\mathbf{b}_p \| = \| \mathbf{b}-A\mathbf{\hat{x}} \| = min_\mathbf{x} (\| \mathbf{b}-A\mathbf{x} \|)$

在子空间 $col A$ 中任意向量 $A\mathbf{x}$ 与向量 $\mathbf{b}$ 的距离大于垂线距离 $\| \mathbf{b}-\mathbf{b}_p \|$ ，距离 $\| \mathbf{b}-A\mathbf{x} \|$ 最小的解即是最优近似解。

$\| \mathbf{b}-\mathbf{b}_p \|^2$ 是什么呢？ $\| \mathbf{b}-\mathbf{b}_p \|^2 = \| \mathbf{b}-A\mathbf{\hat{x}} \|^2 = \sum_i (b_i-\mathbf{a}^T_{ri}\mathbf{\hat{x}})^2$ 。 $b_i-\mathbf{a}^T_{ri}\mathbf{\hat{x}}$ 是第 $i$ 次测量数据的预测值 $\hat{b}_i=\mathbf{a}^T_{ri}\mathbf{\hat{x}}$ 与实际测量值 $b_i$ 的差， $b_i-\hat{b}_i$ 称为残差。最优近似解的残差平方和最小，故称最小二乘解，二乘就是指平方和。