线性最小二乘，线性方程组以及广义逆的关系

对于这样一个优化问题

• 如果A是一个full rank的矩阵。那Ax-b=0一定有非零解。所以，这个函数的最小值就是0，对应的x就是Ax-b=0的解
• 如果A是一个非方阵，或者非full rank。
  • 这个需要展开平方，使用最小二乘的方法求得最小值对应的x：x=
  • 刚好也是非线性最小二乘每次迭代更新量的表达式。只是A换成了非线性方程的雅克比矩阵
  • 并且也是矩阵A的广义逆的表达式。
• 总结来说，因为定义了广义逆，我们可以认为最小二乘的解就是对应的线性方程组的解。