牛顿法（二阶梯度法）和拟牛顿法优化

相关阅读

<统计学习方法>李航 ，附录B

牛顿法

—————————————————————————————————————–

1. 将目标函数在某一个$x_0$点进行进行二阶泰勒展开，
2. 使用泰勒展开模拟的新的目标函数（往往新的模拟的目标函数更容易计算）进行计算，得出模拟目标函数的最优解$x_t$，但使用二阶泰勒展开的目标函数和真实的函数之间总是存在差距（能进行粗略的计算）
3. 将得到的$x_t$重新作为泰勒展开式的展开点$x_0$（$x_0=x_t$）,得到新的使用二阶泰勒展开得到的模拟的目标函数
4. 当$x_0$ 越是接近$x_t$ 时，表示精确度越高（泰勒展开式中x与展开点a越是接近误差值越小）

——————————————————————————————————————

将优化函数使用二阶泰勒展开，x上标k表示第k次迭代

下列公式表示优化函数在$x^k$ 处展开，$g_k^T$ 表示一阶导（梯度）,H表示hesse矩阵（二阶导）

函数f（x）有极值的必要条件是一阶到时为0，即梯度向量为0 。 同时牛顿法利用极小点得的必要条件是

同时假设下次到达的点的一阶导数为0

对泰勒2阶展开求导得

因为要求得原始f（x）的极值点，所以$\nabla f(x)$的一阶导（梯度）等于0值，同时将x作为下次迭代的起始点位置$x=x^(k+1)$ 得到公式

* 每次达到的点都是梯度为0的点 *

拟牛顿

由于二阶矩阵的计算量大，同时也不一定有逆矩阵，使用另外一个矩阵在代替H的拟矩阵