Lecture 13: Hazard of Overfitting 过拟合的危险
13-1 什么是过拟合
失败的一般化：low Ein，high Eout。
VC维很大的时候，会造成过拟合。
VC维太小的时候，会造成欠拟合。
造成过拟合的原因：过大的VC维，噪声，少的data size N。
13-2 噪声和data size的作用
Overfit：Ein很小但Eout特别大。
当没有noise时，g2也会做得好：（右图为target函数）
这是因为：目标函数的复杂度acts like noise。
13-3 Deterministic Noise
Datasize太少，stochasticnoise太大，deterministic noise太大和excessivepower太大时，都会造成overfit。如下图：
13-4 如何解决过拟合
从简单一点的模型开始；数据清洗；data hinting；规则化；validation；
Datacleaning：correct the label
Datapruning：removethe label
DataHinting：addexamples by shift/rotate the label(在数字识别问题中)