最小二乘矩阵求解与正则化，最小二乘是最常用的线性参数估计方法，早在高斯的年代，就用开对平面上的点拟合线，对高维空间的点拟合超平面。
作为最小二乘代价函数的改进
式中 ℷ >0 则称为正则化参数 (regularization parameters)
代价函数关于变元 x 的共轭梯度
令
得到
使得
替代协方差矩阵的直接求逆
的方法常称为Tikhonov 正则化
在信号处理和图像处理中有时也称为松弛法(relaxation method)
Tikhonov 正则化的本质是通过对非满秩的矩阵A的协方差矩阵
的每一个对角元素加入一个很小的扰动
使得奇异的协方差矩阵
求逆变为非奇异矩阵
的求逆，从而大大改善求解非满秩矩阵
的数值稳定性 也就是降低cond条件数的大小。
增加的项对其施加一个惩罚，其得到的解比仅优化
更切合实际
如果矩阵A是满秩矩阵，但存在误差或者噪声是，需要采用与上面相反的做法，就是对上面的协方差矩阵
加上以恶搞很小的扰动矩阵去干扰，类似于上面的公式
使分离噪声。
其实这两个公式可以合并，本身就带有符号属性，当取得正值的时候是对矩阵的约束，迫使原来的对角协方差元素减少，
取得负值的时候就是分离残差.取0的时候就是普通最小二乘。
参数是使得原始目标函数值尽可能小的同时保证
不能太大，在二者取得一个很好的平衡
