**************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容。
**************************************
正则化
过拟合问题
拟合问题举例-线性回归之房价问题：
下图左中右分别是：欠拟合、合适的拟合、过拟合
什么是过拟合(Overfitting):
如果我们有非常多的特征，那么所学的Hypothesis有可能对训练集拟合的非常好，但是对于新数据预测的很差。
拟合问题举例-逻辑回归：
与上一个例子相似，依次是欠拟合，合适的拟合以及过拟合：
过拟合问题往往源自过多的特征，例如房价问题，如果我们定义了如下的特征：
对于训练集，拟合的会非常完美：
所以针对过拟合问题，通常会考虑两种途径来解决：
成本函数
依然从房价预测问题开始，这次采用的是多项式回归：
我们可以从之前的事例中看出，正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近0的话，我们就能很好的拟合了。
我们要做的就是在一定程度上减小θ3、θ4的值，这就是正则化的基本方法。我们要做的便是修改代价函数，在其中θ3和θ4 设置一点惩罚。这样做的话，我们在尝试最小化代价时也需要将这个惩罚纳入考虑中，并最终导致选择较小一些的θ3和θ4。
这样在最小化Cost function的时候
正则化
参数θ1 θ2 θ3……θn取小一点的值，这样的优点：
-“简化”的hypothesis；
-不容易过拟合；
对于房价问题：
对除 θ0以外的参数进行惩罚，也就是正则化：
其中λ又称为正则化参数（Regularization Parameter）。根据惯例，我们不对θ0 进行惩罚。经过正则化处理的模型与原模型的可能对比如下图所示：
对于正则化的线性回归模型来说，我们选择θ来最小化如下的正则化成本函数：
因为如果我们令λ的值很大的话，为了使 Cost Function 尽可能的小，所有的θ的值（不包括θ0）都会在一定程度上减小。 但若λ的值太大了，那么θ（不包括θ0）都会趋近于 0，这样我们所得到的只能是一条平行于 x轴的直线。 所以对于正则化，我们要取一个合理的λ的值，这样才能更好的应用正则化。
正则化线性回归
正则化线性回归的代价函数为：
我们的目标依旧是最小化J(θ)，由于正则化后的线性回归Cost function有了改变，因此梯度下降算法也需要相应的改变：
我们同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：
正则化逻辑回归模型
同样对于逻辑回归，我们也给代价函数增加一个正则化的表达式
******************
作者：hao_09
时间：2015/8/11
文章地址：http://blog.csdn.net/lsh_2013/article/details/47424941
******************