数值分析(8)-最佳一致逼近多项式

整理一下数值分析的笔记~
目录：

1. 误差

2. 多项式插值与样条插值

3. 函数逼近(THIS)

4. 数值积分与数值微分

5. 线性方程组的直接解法

6. 线性方程组的迭代解法

7. 非线性方程求根

8. 特征值和特征向量的计算

9. 常微分方程初值问题的数值解

1. 基本概念及其理论

设 $f\in C[a,b]$ ，在 $H_n=span$ { $1,x,...,x^n$ }中求多项式 $P_n^*(x)$ 使其误差 $||f-P_n^*||_{\infty}=max_{a\leq x\leq b}|f(x)-P_n^*(x)|=min_{P_n \in H_n}max_{a\leq x \leq b}|f(x)-P_n(x)|$ ,其中 $H_n$ 表示由所有次数不超过 $n$ 的代数多项式构成的线性空间，这就是 $C[a,b]$ 空间中的最佳一致逼近或切比雪夫逼近问题。

定义1：设 $P_n \in H_n,f(x) \in C[a,b]$ ，称 $\Delta f(,P_n)=||f-P_n||_{\infty}=max_{a\leq x\leq b}|f(x)-P_n(x)|$ 为 $f(x)$ 与 $P_n(x)$ 在 $[a,b]$ 上的偏差， $\Delta(f,P_n)$ 的全体组成一个集合，记为{ $\Delta(f,P_n)$ }，下界为0.

若记集合的下确界为： $E_n=inf_{P_n\in H_n}$ { $\Delta(f,P_n)$ } $=inf_{P_n \in H_n}max_{a\leq x \leq b}|f(x)-P_n(x)|$ ，称为 $f(x)$ 在 $[a,b]$ 上的最小偏差。

定义2：假定 $f \in C[a,b]$ 若存在 $P_n^* \in H_n$ 使得 $\Delta(f,P_n^*)=E_n$ 则称 $P_n^*$ 是 $f(x)$ 在 $[a,b]$ 上的 $n$ 次最佳一致逼近多项式或最小偏差逼近多项式，简称最佳逼近多项式。

定理1：若 $f\in [a,b]$ 则总存在 $P_n^* \in H_n$ 使得 $||f(x)-P_n^*(x)||_{\infty}=E_n$ 。{最佳逼近多项式的存在性定理(Borel定理)}

定义3：设 $f\in [a,b],P(x)\in H_n$ ，若存在 $x=x_0$ 上有 $|P(x_0)-f(x_0)|=max_{a \leq x \leq b}|P(x)-f(x)|=\mu$ ，就称 $x_0$ 为 $P(x)$ 的偏差点，若 $P(x)-f(x)=\mu$ ，正偏差点，否则，负偏差点。由于 $P(x)-f(x)$ 在 $[a,b]$ 上连续，所以至少存在一个点使得 $|P(x_0)-f(x_0)|=\mu$ ，有引理”设 $f(x) \in C[a,b],P_n^*(x)$ 是 $f(x)$ 的 $n$ 次最佳一致逼近多项式，则 $f(x)-P_n^*(x)$ 必同时存在正负偏差点。“

定理2： $P(x) \in H_n$ 是 $f\in C[a,b]$ 的最佳逼近多项式的充分必要条件是 $P(x)$ 在 $[a,b]$ 上至少有 $n+2$ 个轮流正负的偏差点，即有 $n+2$ 个点$ a \leq x_1 <x_2<…<x_{n+2} \leq b$使:

$P(x_k)-f(x_k)=(-1)^k \sigma||P(x)-f(x)||_{\infty},\\ \sigma=\pm1$

这样的点组称为切比雪夫交错点组。

定理3：在区间 $[-1,1]$ 上所有最高次项系数为1的n次多项式中 $\omega_n(x)=\frac{1}{2^{n-1}}T_n(x)$ 与零的偏差最小，为 $\frac{1}{2^{n-1}}$ 。{ $\omega_n(x)=x^n-P^*_{n-1}(x)$ }

例：求 $f(x)=2x^3+x^2+2x-1$ 在[-1,1]上的最佳2次逼近多项式。

解：所求最佳逼近多项式 $P_2^*(x)$ 应满足 $max_{-1\leq x \leq 1}|f(x)-P_2^*(x)|=min$ ，由定理3可知 $f(x)-P_2^*(x)=\frac{1}{2}T_3(x)=2x^3-\frac{3}{2}x$ 时多项式 $f(x)-P_2^*(x)$ 与零偏差最小，故 $P_2^*(x)-f(x)=\frac{1}{2}T_3(x)=x^2+\frac{7}{2}-1$ ，就是 $f(x)$ 在[-1,1]上的最佳2次逼近多项式。

2. 最佳一次逼近多项式

定理2给出了P(x)的特性，当n=1时至少存在三个点 $x_1,x_2,x_3$ 满足定理中的条件，设最佳一次逼近多项式为 $P_1(x)=a_0+a_1x$ ，推导得:

$a_0=\frac{f(a)+f(x_2)}{2}-\frac{f(b)-f(a)}{b-a}\left(x-\frac{a+x_2}{2}\right)$

$a_1=\frac{f(b)-f(a)}{b-a}=f'(x_2)$

例：求 $f(x)=\sqrt{1+x^2}在区间[0,1]$ 上的最佳一次逼近多项式。

解： $a_1=\sqrt{2}-1\approx 0.414$ ，又 $f'(x)=\frac{x}{\sqrt{1+x^2}}所以\frac{x_2}{\sqrt{1+x_2^2}}=\sqrt2-1$ ，解得 $x_2=\sqrt{\frac{\sqrt2-1}{2}}=\approx 0.4551,f(x_2)=\sqrt{1+x_2^2}\approx 1.0986,得a_0=\frac{1+\sqrt{1+x^2_2}}{2}-a_1\frac{x_2}{2}\approx 0.955$ 。所以 $f(x)得最佳一次逼近多项式为：P_1(x)=0.955+0.414x$ 。

根据例题的1结论令 $x=\frac{b}{a}\leq1有\sqrt{1+(\frac{b}{a})^2}=0.955+0.414(\frac{b}a),即\sqrt{a^2+b^2}\approx 0.955a+0.414b$

3. 最佳平方逼近的计算

$f(x) \in C[a,b]$ ，记其最佳平方逼近多项式为： $S^*(x)=a_0^*+a_1^*x+a_2^*x^2+....+a_n^*x^n$ ， $H$ 表示希尔伯特矩阵：

$\left[\begin{matrix} 1 & 1/2 & ... & 1/(n+1) \\ 1/2 & 1/3 & ... &1/(n+2) \\ ...&...&...&...\\ 1/(n+1)&1/(n+2) &... & 1/(2n+1) \end{matrix}\right]$

又系数 $a=(a_0,a_1,...,a_n)^T,d=(d_0,d_1,...,d_n)^T,其中d_k=\int_0^1f(x)x^kdx$ ，解方程： $Ha=d$ 得系数 $a$ 。

令 $\delta(x)=f(x)-S^*(x)$ 则平方误差为：

$||\delta(x)||_2^2=(f(x)-S^*(x),f(x)-S^*(x))\\ =(f(x),f(x))-(S^*(x),f(x))\\ =||f(x)||_2^2-\sum_{k=0}^na_k^*(\empty_k(x),f(x)).$

例：设 $f(x)=\sqrt{1+x^2}$ ，求[0,1]上得一次最佳平方逼近多项式。

解：得 $d_0=\int_0^1\sqrt{1+x^2}dx=\frac1{2}ln(1+\sqrt2) \approx 1.147$ , $d_1=\int_0^1x\sqrt{1+x^2}dx \approx 0.609$ ，得方程组：

$\left[\begin{matrix} 1&1/2\\ 1/2&1/3 \end{matrix}\right]\left[\begin{matrix} a_0\\ a_1 \end{matrix}\right]=\left[\begin{matrix} 1.147\\ 0.609 \end{matrix}\right]$

解得 $a_0=0.934,a_1=0.426,故S_1^*(x)=0.934+0.426x$ ，平方误差：

$||\delta(x)||_2^2=(f(x),f(x))-(S^*_1(x),f(x))\\ =\int_0^1(1+x^2)dx-0.426d_1-0.934d_0=0.0026$

最大误差： $||\delta(x)||_{\infty}=max_{0 \leq x \leq1}|\sqrt{1+x^2}-S_1^*(x)|\approx 0.066$

但是n较大时系数矩阵高度病态。

4. 用正交函数族作最佳平方逼近

$f(x)\in C[a,b]在\varphi$ 中得最佳平方逼近函数为：

$S^*(x)=\sum_{k=0}^n\frac{(f(x),\varphi(x))}{||\varphi(x)||_2^2}\varphi(x)$

其中 $\varphi_k(x)$ 是正交函数族，均方误差：

$||\delta_n(x)||_2=||f(x)-S_n^*(x)||_2\\ =\left(||f(x)||_2^2-\sum_{k=0}^n\left[\frac{f(x),\varphi_k(x)}{||\varphi_k(x)||_2} \right]^2\right)^{\frac{1}{2}}$

由此可得贝塞尔不等式： $\sum_{k=1}^n(a_k^*||\varphi_k(x)||_2)^2\leq ||f(x)||-2^2$ ,

其中 $a_k^*=(f(x),\varphi(x))/(\varphi_k(k),\varphi_k(x)),k=0,1,2,...,n$

$\sum_{k=0}^{\infty}a_k^*\varphi_k(x)$ 称为广义傅里叶级数， $a_k^*$ 为广义傅里叶系数，若正交函数族可以由 $1,x,x^2,...,x^n$ 正交化得到，有如下收敛定理：

定理4:设 $f(x)\in C[a,b],S^*(x)$ 是f(x)的最佳平方逼近多项式，其中{ $\varphi_k(x),k=0,1,...,n$ }是正交多项式族，则又 $lim_{n \rarr \infty}||f(x)-S_n^*(x)||_2=0$ ，按勒让德多项式{ $P_0(x),...,P_n(x)$ }展开得：

$S_n^*(x)=a_0^*P_0(x)=...+a_n^*P_n(x)$

其中

$a_k^*(x)=\frac{(f(x),P_k(x))}{(P_k(x),P_k(x))}\\ =\frac{2k+1}{2}\int_{-1}^1f(x)P_k(x)dx$

平方误差为：

$||\delta_k(x)||_2^2=\int_{-1}^1f^2(x)dx-\sum_{k=0}^n\frac{2}{2k+1}a^{*2}$

定理5：设 $f(x)\in C^2[-1,1],S_n^*$ 勒让德展开得，则对任意 $x \in [-1,1]和所有的\varepsilon >0$ ，当n充分大时有 $|f(x)-S_n^*(x)| \leq \frac{\varepsilon}{\sqrt n}$ 。

定理6：在所有最高次项系数为1 的n次多项式中，勒让德多项式 $\bar P_n(x)$ 在[-1,1]上与零的平方误差最小。

例：求 $f(x)=e^x$ 在[-1,1]上的三次最佳平方逼近多项式。

解：先计算 $(f(x),\bar P_k(x))(勒让德多项式),k=0,1,2,3$ ，有：

$(f(x),P_0(x))=\int_{-1}^1e^xdx= \approx 2.3504\\ (f(x),P_1(x))=\int_{-1}^1xe^xdx=\approx 0.7358\\ (f(x),P_2(x))=\int_{-1}^1(\frac{3}{2}x^2-\frac{1}{2})e^xdx=\approx 0.1431\\ (f(x),P_3(x))=\int_{-1}^1(\frac{5}{2}x^3-\frac{3}{2}x)e^xdx=\approx 0.02013$

可知：

$a_0^*=(f(x),P_0(x))/2=1.1752\\ a_1^*=3(f(x),P_1(x))/2=1.1036\\ a_2^*=5(f(x),P_2(x))/2=0.3578\\ a_3^*=7(f(x),P_3(x))/2=0.07046$

由此知三次最佳平方逼近多项式：

$S^*(x)=0.9963+0.9979x+0.5367x^2+0.1761x^3$ ，均方误差为： $||\delta_n(x)||_2=||e^x-S^*_3(x)||_2=\sqrt{\int_{-1}^1e^{2x}-\sum^3_{k=0} \frac{2}{2k+1}a_k^{*2}}\leq0.0084$

最大误差 $||\delta_n(x)||_2=||e^x-S_3^*(x)||_{\infty}\leq0.0112$ 。

{持续更新}
欢迎扫描二维码关注微信公众号深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]
在这里插入图片描述