正则化
过拟合
我们在利用数据来进行曲线拟合的时候会出现三种情况，欠拟合（underfitting），合适（just right），过拟合（overfitting）。欠拟合的情况一般是由于变量太少，而过拟合的原因一般是变量太多
下面我们主要考虑过拟合的问题。过拟合的解决方法一种是减少特征的数量，一种就是正则化
代价函数
正则化采用的方法就是修改代价函数，将其加上我们认为不那么重要的项，例如下面这个例子我们加上θ3和θ4，我们可以知道这样在优化的时候θ3和θ4会很小，这样这两项对函数的影响就很小，相当于这两项消失了，也就相当于减少了特征的数量，解决了过拟合的问题。虽然我们没有进行严谨的数学证明，但是我们可以凭直觉感觉到这件事是对的
但是如果我们将θ前面系数都设置的过大的话就有可能导致欠拟合的问题
线性回归
下面我们将正则化应用到线性回归上。我们可以知道对于梯度下降法，算法过程应该做如下调整
对于正规方程法我们要做如下调整。另外要提的一点是，我们之前讲过正规方程需要注意矩阵不可逆的情况，但当我们对其进行正则化以后我们可以证明这个新的矩阵总是可逆的，这也是正则化的另一个优点
logistic回归
我们将正则化应用到logistic回归的梯度下降法上有如下结果
应用到高级优化上有如下结果
