线性最小二乘法我们应该非常熟悉了，例如对样本数据进行多项式拟合等。但实际工程应用中，我们所接触的很多问题都无法转化为线性方程组，也就无法使用线性最小二乘法进行优化了，那自然而然地我们就应该转而求助于非线性最小二乘法。一直以来，各路大神们提出了各种各样的优化算法，很多都是一脉相承，不断创新的，所以最好不要孤立地看待这些算法。目前来说，Levenberg–Marquardt 法可以说是求解非线性最小二乘问题的标准算法了，也就是应用十分广泛，例如运动参数估计、相机内部参数标定等等，其性能也是得到很多论文背书的。不过，一上来就扔出这么长的一串名字似乎让人觉得 LM 算法十分的复杂，但实际上，LM 算法也是从其祖辈一步一步发展而来的，从其身上，你可以看到最速下降法、牛顿法以及高斯-牛顿法的影子。因此，文章将会按照这么一个顺序来进行循序渐进的详细讲解，让大家能够更加容易并且透彻地理解 LM 算法背后的原理。
这篇文章主要是以下两篇英文文献的提取、总结和补充，如果有能力的可以仔细阅读一下，里面可以说写得很详细和明了了。
[1] H.B. Nielsen. Damping Parameter in Maquardt’s Method.
http://www2.imm.dtu.dk/documents/ftp/tr99/tr05_99.pdf
[2] K. Madsen, H.B. Nielsen, O. Tingleff. Methods for Non-Linear Least Squares Problems.
https://www.ltu.se/cms_fs/1.51590!/nonlinear_least_squares.pdf
