Machine Learning Andrew Ng -7. Regularization

7.1 The problem of over-fitting

What is overfitting problem?

generalize 泛化 ：一个假设模型应用到新样本的能力

如何解决过度拟合？

7.2 Cost function

一般只对 $\theta_1,\theta_2,...,\theta_{n}$进行正则化

缩小参数 $\theta$

如果正则化参数 $\lambda$选的过大，则会出现下图所示欠拟合的情况

如何选择正则化参数？

应用到 linear regression and logistic regression?

7.3 Regularized linear regression

7.4 Regularized logistic regression

如何改进梯度下降和其他高效算法使其应用到正则化逻辑回归中？

其中，逻辑回归的梯度下降法的迭代方式与线性回归看似相同，但实际上二者的 $h_\theta(x)$ 不同，因此是两种完全不同的方法。

老师说，学到这里，你已经比很多硅谷工程师强了（信了老师的鬼话哦つ﹏⊂