机器学习&Day7

第六篇被我误删了，csdn这点很不好，恢复还得经过管理权限。。。

也不打算重写了，反正也没人看也是我自己看当作复习用哈哈哈。
然后呢今天是正则化
一：过拟合问题
如果我们有太多的特征，然后假设的函数非常好的拟合了每一个数据使得代价函数的值趋于0，但是此函数却不能泛化于新的预测，称之为过拟合。（同样与此相对的有欠拟合）

图中第一个为欠拟合(underfitting)第三个为过拟合(overfitting)
对于此问题我们也有解决办法
1：减少特征数量
2：正则化(保存所有的特征，但是要去减少参数$\theta_j$的值或者范围)
为了使得参数的范围变小防止过拟合问题，此时的代价函数将变为：
$J(\theta)={1\over 2m}[\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum^n_{j=1}\theta_j^2]$
所以正则化后的梯度下降为
repeat{
$\theta_0:=\theta_0-\alpha{1\over m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_0^{(i)}$
$\theta_j:=\theta_j(1-{\alpha\lambda\over m})-\alpha{1\over m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$
}
正规方程则变为：
$\theta=(X^TX+\lambda\begin{pmatrix} 0 & 0 & 0 & & 0 \\ 0 & 1 & 0& & 0 \\ 0 & 0 & 1 & & 0 \\ & & & \ddots & \\ 0 & 0 & 0 & & 1 \end{pmatrix})^{-1}X^Ty$
最后一个为logistic回归的在正则化
与梯度下降相同只是$h\theta(x)={1\over 1+e^{-\theta^Tx}}$
然后这里的代价函数变为了：
$J(\theta)=[-{1\over m}\sum^m_{i=1}y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h\theta(x^{(i)})]+{\lambda\over 2m}\sum^m_{j=1}\theta^2_j$