数值分析(9)-最小二乘法

整理一下数值分析的笔记~
目录：

1. 误差

2. 多项式插值与样条插值

3. 函数逼近(THIS)

4. 数值积分与数值微分

5. 线性方程组的直接解法

6. 线性方程组的迭代解法

7. 非线性方程求根

8. 特征值和特征向量的计算

9. 常微分方程初值问题的数值解

1. 基本概念

令 $\delta_i=y(x_i)-y_i$ 在回归分析中称为残差，一般使用 $||\delta||_2^2=\sum_{i=0}^m\delta_i^2=\sum_{i=0}^m(y(x_i)-y_i)^2$ 作为衡量标准称为平方误差，回归分析中称为残差平方和。

在函数类 $\varphi$ 中选取一个函数 $S^*(x)$ ，计算如下：

$S^*(x)=\sum_{j=0}^na_j\varphi_j(x)=a_0^*\varphi_0(x)+...+a_n^*\varphi_n(x)\\ ||\delta^*||_2^2=\sum_{i=0}^m(S^*(x_i)-y_i)^2=min_{S(x)\in \varphi}(S(x_i)-y_i)^2,\\ 其中S(x)=\sum_{j=0}^ma_j\varphi_j(x)为\varphi中的任意函数。$

称 $S^*(x)=\sum^n_{j=0}a_j^*\varphi_j(x)$ 为最小二乘解；

称 $S(x)=\sum_{j=0}^na_j\varphi_j(x)$ 为拟合函数；

称 $a_j(j=0,1,...,n)$ 为拟合系数；

称 $||\delta^*||_2^2$ 为最小二乘解的平方误差。

确定拟合函数后如何确定拟合系数？

2. 法方程组

如何求任意方程组 $A_{m \times n}x=b$ 的最小二乘解？

记 $\bar x$ 是最小二乘解则满足 $(b-A \bar x) \bot$ { $Ax,x\in R^n$ }，则 $(Ax)^T(b-A\bar x)=0，x \in R^n$ ，推出 $x^T(A^Tb-A^TA\bar x)=0，x \in R^n$ ，可得 $A^TA \bar x=A^Tb$ ，称为法方程，也称正规方程，它的解就是最小二乘解。

例：

$求解不相容方程组 \left(\begin{matrix} 1 & 1\\ 1&-1\\ 1 &1 \end{matrix}\right)\left(\begin{matrix} x_1\\ x_2 \end{matrix}\right)=\left(\begin{matrix} 2\\ 1\\ 3 \end{matrix}\right)$

解：由 $A^T A \bar x=A^Tb$ 得法方程：
$\left(\begin{matrix} 1 & 1&1\\ 1&-1&1 \end{matrix}\right) \left(\begin{matrix} 1 & 1\\ 1&-1\\ 1 &1 \end{matrix}\right) \left(\begin{matrix} x_1\\ x_2 \end{matrix}\right) \left(\begin{matrix} 1 & 1&1\\ 1&-1&1 \end{matrix}\right) \left(\begin{matrix} 2\\ 1\\ 3 \end{matrix}\right)$

解得

$\left(\begin{matrix} x_1 \\ x_2 \end{matrix}\right)=\left(\begin{matrix} 7/4 \\ 3/4 \end{matrix}\right)\\ r=b-A\bar x=\left(\begin{matrix} 2\\ 1\\ 3 \end{matrix}\right)-\left(\begin{matrix} 1 & 1\\ 1&-1\\ 1 &1 \end{matrix}\right)\left(\begin{matrix} 7/4\\ 3/4 \end{matrix}\right)=\left(\begin{matrix} -0.5\\ 0\\ 0.5 \end{matrix}\right)\\ ||r||_2=\sqrt{0.5^2+0^2+0.5^2}=0.707$

例：找出可以最优拟合点集(1,2),(-1,1),(1,3)的直线。

解：将点(1,2),(-1,1),(1,3)代入直线 $y=c_1+c_2x$ 中有：

$\begin{cases} c_1+c_2=2\\ c_1-c_2=1\\ c_1+c_2=3 \end{cases},\left(\begin{matrix} 1&1\\1&-1\\1&1\end{matrix}\right)\left(\begin{matrix} c_1\\c_2\end{matrix}\right)=\left(\begin{matrix} 2\\1\\3\end{matrix}\right),\\ 由公式A^TA\bar x=A^Tb得法方程，求解得不相容方程，\\得直线y=\frac{7}{4}+\frac{3}{4}$

{持续更新}
欢迎扫描二维码关注微信公众号深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]
在这里插入图片描述