泰勒级数展开

1. 泰勒级数展开

实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数在某点附近展开为泰勒(Taylor)多项式来逼近原函数。

1.1 （一阶）偏导数的概念

以二元函数为例：
设有二元函数$z=f(x,y)$，若存在

$$\frac{d}{dx}f(x,y_0)|_{x=x_0}$$
则，称它为 $z=f(x,y)$在点 $(x_0,y_0)$处对 $x$的 偏导数（值）。
记为：
$f'_x(x_0,y_0)$ ， $\frac{\partial f(x_0,y_0)}{\partial x}$或 $\frac{\partial f}{\partial x}|_{(x_0,y_0)}$

【注】：可以看出偏导数的本质是 一元函数的导数

若$z=f(x,y)$在区域$D$的每一个点$(x,y)$处都有偏导数（值），一般来说，它们仍是$x,y$的函数，称为$f(x,y)$的偏导（函）数，简称偏导数
记为：
$f'_x(x,y)$ 或 $\frac{\partial f}{\partial x}$

---

1.2 二阶偏导数与混合偏导数的概念

若函数$z=f(x,y)$的一阶偏导（函）数$\frac{\partial f}{\partial x}=f'_x, \frac{\partial f}{\partial y}=f'_y$关于$x$和$y$的偏导数仍然存在，
则，称一阶偏导数的偏导数是$z=f(x,y)$的二阶偏导数。
二元函数$z=f(x,y)$有四个二阶偏导数：
$f'_{xx}(x,y)$， $f'_{xy}(x,y)$ ，$f'_{yx}(x,y)$ ，$f'_{yy}(x,y)$
类似地可以定义三阶、四阶、n阶偏导数。
其中，对不同自变量求导的高阶偏导数称为混合偏导数。 如$f'_{xy}(x,y)$ ，$f'_{yx}(x,y)$

---

1.3 函数的泰勒级数展开

• 一元函数$f(x)$在点$x_k$处的泰勒展开式为：
  

  $$f(x)=f(x_k)+(x-x_k)f'(x_k)+ \frac {1}{2!}(x-x_k)^2f''(x_k)+\cdots+\frac{1}{n!}(x-x_k)^n f^n(x_k)+o(n)$$

• 二元函数$f(x,y)$在点$(x_k,y_k)$处的泰勒展开式为：

$$f(x,y)=f(x_k,y_k)+(x-x_k)f'_x(x_k,y_k)+(y-y_k)f'_y(x_k,y_k)+\\ \frac {1}{2!}(x-x_k)^2 f''_{xx}(x_k,y_k)+\frac {1}{2!}(x-x_k)(y-y_k) f''_{xy}(x_k,y_k)+\\ \frac {1}{2!}(y-y_k)(x-x_k) f''_{yx}(x_k,y_k)+\frac {1}{2!}(y-y_k)^2 f''_{yy}(x_k,y_k)+\\ \cdots+o(n)$$

• n元函数$f(x^1,x^2,\cdots,x^n)$在点$(x^1_k,x^2_k,\cdots,x^n_k)$处的泰勒展开为：
  $$f(x^1,x^2,\cdots,x^n)=f(x^1_k,x^2_k,\cdots,x^n_k)+\\ \sum^n_{i=1}(x^i -x^i_k)f'_{x^i}(x^1_k,x^2_k,\cdots,x^n_k)+\\ \frac{1}{2!}\sum^n_{i,j=1}(x^i-x^i_k)(x^j-x^j_k)f'_{x^i x^j}(x^1_k,x^2_k,\cdots,x^n_k)+\\ \cdots+o(n)$$
  
  该式可以表示为矩阵形式，如下：
  

---

2. 矩阵形式的泰勒级数展开式

记$X=[x^1,x^2,\cdots,x^n]^T$，$X_k=[x^1_k,x^2_k,\cdots,x^n_k]^T$
则，n元函数$f(X)$在点$X_k$处的泰勒展开为：

$$f(X)=f(X_k)+[\nabla f(X_k)]^T(X-X_k)+\\ \frac{1}{2!}(X-X_k)^TH(X_k)(X-X_k)+o(n)$$

其中，$\nabla f(X_k)=[\frac{\partial f(X_k)}{\partial x^1},\frac{\partial f(X_k)}{\partial x^2},\cdots,\frac{\partial f(X_k)}{\partial x^n}]^T$
称为n元函数$f(X)$在点$X_k$处的梯度（向量）；

$$H(X_k)= \begin{bmatrix} \frac{\partial ^2 f(X_k)}{\partial x^1 \partial x^1} & \frac{\partial ^2 f(X_k)}{\partial x^1 \partial x^2} & \cdots & \frac{\partial ^2 f(X_k)}{\partial x^1 \partial x^3} \\ \frac{\partial ^2 f(X_k)}{\partial x^2 \partial x^1} & \frac{\partial ^2 f(X_k)}{\partial x^2 \partial x^2} & \cdots & \frac{\partial ^2 f(X_k)}{\partial x^2 \partial x^3} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial ^2 f(X_k)}{\partial x^n \partial x^1} & \frac{\partial ^2 f(X_k)}{\partial x^n \partial x^2} & \cdots & \frac{\partial ^2 f(X_k)}{\partial x^n \partial x^1} \end{bmatrix}$$

---

2.1 雅各比矩阵

2.2 海森矩阵

2.3 变量为向量的泰勒级数展开