非线性最优化-没理解透彻

问题

迭代求解函数极值
每次迭代，找一个增量 ${\Delta}x$，是的 $||f(x_k+{\Delta}x)||^2$达到极小值，即比上一次的迭代的值要小
${\Delta}x$足够小的时候停止，否则令 $x_{k+1}=x_k+{\Delta}x$
下面的推导过程与泰勒展开有关

梯度下降法

$x_{k+1}=x_k-{\alpha}G_k$
${\alpha}$为步长，（据说是可以求得的）
即 ${\Delta}x=-{\alpha}G_k$

牛顿法

$x_{k+1}=x_k-H_k^{-1}G_k$
$H_k$为海森矩阵
即 ${\Delta}x=-H_k^{-1}G_k$
牛顿法计算海森矩阵复杂，容易陷入局部最优
看这个https://blog.csdn.net/boksic/article/details/79130509

高斯牛顿法

$x_{k+1}=x_k-H_k^{-1}G_k$
$H_k={\approx}J^TJ$
$J$为雅克比矩阵
则 $x_{k+1}=x_k-(J^TJ)^{-1}G_k$
即 ${\Delta}x=(J^TJ)^{-1}G_k$
高斯牛顿法利用雅克比矩阵近似海森矩阵
（高斯牛顿方程也叫增量方程也叫正规方程）
看这个https://blog.csdn.net/boksic/article/details/79055298

LM算法

信赖域的概念https://www.codelast.com
$x_{k+1}=x_k-H_k^{-1}G_k$
$H_k={\approx}J^TJ+{\mu}I$
$I$为单位矩阵
则 $x_{k+1}=x_k-(J^TJ+{\mu}I)^{-1}G_k$
引入步长单位矩阵解决高斯牛顿的不可逆问题
${\mu}$小时相当于高斯牛顿， ${\mu}$大时相当于梯度下降
看这个https://blog.csdn.net/boksic/article/details/79177055