机器学习理论之正则化

正则化是为了解决机器学习中的过拟合问题。

• 过拟合（overfitting）：模型几乎通过了所有训练集，可能表现为一条非常扭曲的曲线，有可能代价函数很小或者为0,但不能泛化到新的测试数据上。
• 欠拟合：模型不能很好的拟合训练集。
• 正则化：如下式所示：如果取得很大，那么值就会较小，那么就能得到一个更光滑的曲线，减小其扭曲程度。
                                         
               值的作用是控制两个不同目标中的平衡关系：第一个目标是我们需要更好的拟合数据（值小小）；第二个目标是我们想要其不会过拟合，即想要保持参数较小（值较大）。                                     
• 线性回归的正则化之梯度下降法：
                                               
  
• 线性回归的正规化之正规方程求解：
  
                                                   
  
• 逻辑回归的正则化之梯度下降法：