多元函数的泰勒展开公式

版权声明：本文为博主原创文章，未经博主允许不得转载。作为分享主义者(sharism)，本人所有互联网发布的图文均采用知识共享署名 4.0 国际许可协议(https://creativecommons.org/licenses/by/4.0/)进行许可。转载请保留作者信息并注明作者Jie Qiao专栏:http://blog.csdn.net/a358463121。商业使用请联系作者。 https://blog.csdn.net/a358463121/article/details/80907888

泰勒定理

泰勒展开是一个很有趣的方法。应该大部分人都看过下面这么一条定理：

泰勒定理：若函数f(x)在闭区间[a,b]上存在直至n阶的连续导函数,在开区间（a,b）内存在（n+1）阶导函数，则对任意给定的$x,x_0\in [a,b]$，至少存在一点$\xi \in (a,b)$，使得

$$\begin{aligned} f( x) = & f(x_{0} )+f\ '(x_{0} )(x-x_{0} )+\frac{f\ ''(x_{0} )}{2!} (x-x_{0} )^{2} +\cdots \\ + & \frac{f^{( n)} (x_{0} )}{n!} (x-x_{0} )^{n} +\frac{f^{( n+1)} (\xi )}{( n+1) !} (x-x_{0} )^{n+1} \end{aligned}$$

他的原理也很简单，那就是，当两个函数接近的时候，那么他们在某个点的值肯定相等：$f(0)=g(0)$，
他们的一阶导数在一点上也应该相等$f'(0)=g'(0)$，
二阶导数也应该相等$f''(0)=g''(0)$，如此类推。。
那么我们能不能用一个多项式函数去逼近这么一个函数呢？而答案正是泰勒展开。

举个例子，假设f(x)是你想逼近的函数，g(x)则是它的二阶泰勒逼近，即： $g(x)=f(0)+f'(0)(x-0)+\frac{f''(0)}{2}(x-0)^2$，
于是显然有: g(0)=f(0)。g(x)对x求导：

$$\begin{align} g'(x)&=f'(0)+f''(0)(x-0)\\ g''(x)&=f''(0) \end{align}$$
因此 $g'(0)=f'(0)$, $g''(0)=f''(0)$
当级数趋于无穷的时候就能近似任意的函数了。
盗个图：

$$f(x+y)\approx f(x)+f'(\xi)y$$

多元函数的泰勒展开

多元函数的泰勒近似的原理也是类似的，只不过在多元函数中，我们要求的两个函数值相同，变成了有多个点： $f(a,b)=g(a,b)$,$Df(a,b)=Dg(a,b)$,$Hf(a,b)=Hg(a,b)$，这里的Df(a,b)是导数矩阵，Hf(a,b)是黑塞矩阵(二阶导)，于是多元函数的泰勒展开公式就变成：

$$\begin{align*} f(\textbf{x}) &\approx f(\textbf{a}) + Df(\textbf{a}) (\textbf{x}-\textbf{a}) + \frac{1}{2} (\textbf{x}-\textbf{a})^T Hf(\textbf{a}) (\textbf{x}-\textbf{a}). \end{align*}$$

其中

$$\begin{align*} Df(a,b) = \left[\frac{\partial f}{x_1}(a,b), \frac{\partial f}{x_2}(a,b)\right]. \end{align*}$$
$$\mathbf{H} f=\begin{bmatrix} \dfrac{\partial ^{2} f}{\partial x^{2}_{1}}( a,b) & \dfrac{\partial ^{2} f}{\partial x_{1} \ \partial x_{2}}( a,b)\\ \dfrac{\partial ^{2} f}{\partial x_{2} \ \partial x_{1}}( a,b) & \dfrac{\partial ^{2} f}{\partial x^{2}_{2}}( a,b) \end{bmatrix}$$

举个例子，一个二元函数f(x,y)在点(a,b)上的的泰勒展开式为：

$$\begin{aligned} f(x,y)\approx & f(a,b)+\left[\frac{\partial f}{x} (a,b),\frac{\partial f}{y} (a,b)\right]\begin{bmatrix} x-a\\ y-b \end{bmatrix}\\ + &\frac{1}{2} \begin{bmatrix} x-a & y-b \end{bmatrix}\begin{bmatrix} \dfrac{\partial ^{2} f}{\partial x^{2}}( a,b) & \dfrac{\partial ^{2} f}{\partial x \ \partial y}( a,b)\\ \dfrac{\partial ^{2} f}{\partial y \ \partial x}( a,b) & \dfrac{\partial ^{2} f}{\partial y^{2}}( a,b) \end{bmatrix}\begin{bmatrix} x-a\\ y-b \end{bmatrix}\\ = & f(a,b)+(x-a)f'_{x} (a,b)+(y-b)f'_{y} (a,b)\\ + & \frac{1}{2!} (x-a)^{2} f''_{xx} (a,b)+\frac{1}{2!} (x-a)(y-b)f''_{xy} (a,b)\\ + & \frac{1}{2!} (x-a)(y-b)f''_{yx} (a,b)+\frac{1}{2!} (y-b)^{2} f''_{yy} (a,b) \end{aligned}$$

黑塞矩阵更一般的形式可以写成：

$${\mathbf Hf(x_1,x_2,...,x_n)}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.$$

参考资料

https://mathinsight.org/taylors_theorem_multivariable_introduction
https://mathinsight.org/derivative_matrix
https://mathinsight.org/taylor_polynomial_multivariable_examples
https://blog.csdn.net/red_stone1/article/details/70260070
怎样更好地理解并记忆泰勒展开式？ - 陈二喜的回答 - 知乎