机器学习笔记4：正则化（Regularization）

机器学习笔记4：正则化（Regularization）

Andrew Ng机器学习课程学习笔记4

---

过拟合与欠拟合
　　线性拟合时，有两种拟合效果不好的情况，分别是过拟合与欠拟合。
　　过拟合(overfitting)，也叫高方差(variance)。主要是拟合曲线过于弯曲，虽然很多训练的数据集都在拟合曲线上，但是，对于新的测试集数据预测正确的概率不高。一般特征参数过多的时候可能会出现情况。比如用高阶函数去拟合低阶函数的数据。
　　欠拟合(underfitting)，也叫高偏差(bias)。主要是拟合曲线过于平直，不能适应训练集的变化。比如用低阶函数去拟合高阶函数的数据。
　　对于过拟合，解决办法有：
　　1.减少特征参数的数量。
　　2.正则化
　　正则化时，我们将保留所有的特征变量，但是会减小特征变量的数量级，使得特征变量的影响小一些。

loss function
　　线性回归的正则化损失函数，就是在原线性拟合的损失函数上增加了一项，具体实现如下：
$J(θ) = \dfrac{1}{2m}{[ \sum_{i=1}^{m}(h_θ(x^{(i)})-y^{(i)})^2+λ\sum_{j=1}^{n}θ_j^2 ]}$
　　式中的系数λ若过大，可能会发生欠拟合。

Gradient descent
　　梯度下降法，需要注意的是θ₀是单独的，与其他的θ_j分开计算。
　　具体的实现如下：
　　repeat until convergence{
　　 $θ_j:=θ_j-α\dfrac{∂J(θ)}{∂θ_j}$
　　} 　　　　　　 (simultaneously update all θ_j)
　　将式子中的微分项替换掉即
　　repeat until convergence{
　　 $θ_0:=θ_0-α\dfrac{1}{m}\sum_{i=1}^{m}(h_θ(x^{(i)}-y^{(i)})x^{(i)}_0$
　　 $θ_j:=θ_j(1-α\dfrac{λ}{m})-α\dfrac{1}{m}\sum_{i=1}^{m}(h_θ(x^{(i)}-y^{(i)})x^{(i)}_j$
　　}