最优化算法------非线性最小二乘优化

非线性最小二乘优化也叫无约束极小平方和函数问题，形式如下

如果$f(x)$为$x$的线性函数，此时问题变为线性最小二乘问题，对此有专门的函数进行求解。

1. G–N法

它源于无约束优化的牛顿算法，因为非线性最小二乘优化问题中的目标函数形式比较简单，可以得到其雅克比矩阵的具体形式，将其代入牛顿法的迭代公式中，就可以得到G–N法。根据目标函数表达式，有

令

根据无约束优化的牛顿算法，代入目标函数的梯度，则有

由于$R(x^k)$计算量比较大，忽略可得G–N法

它是一个局部收敛算法，对初始点的依赖性很大，只有当初始点接近极小点时才有可能收敛。

2. 修正G–N法

为了克服G–N法的缺点，有两种修正方案。
1.在已经得到了一个近似极小点$x^k$后，计算

其中${\alpha }^k$大小用一维无约束优化方法求解$minS(x^k)$确定，由于每一步都需要进行一维搜索，计算量很大。
2.选取很小的正数${\delta }_k$，使得$S(x^k+{\delta }_k{v}^k)<S(x^k)$，此种方案计算量比较小，可以用比较简单的方法来确定${\delta }^k$的取值。

3. L–M法

当矩阵$(J_k{)}^T{J}_k$为病态矩阵时，用G–N算法可能得不到正确的解，甚至当$(J_k{)}^T{J}_k$不可逆时，G–N法就无法计算下去。L–M算法采用系数矩阵阻尼的方法改造矩阵$(J_k{)}^T{J}_k$的性态，使算法能够进行下去。L–M算法中有两个主要的步骤，一是解方程

求出自变量的增量，另一个是阻尼系数$\mu$的调整算法。