overfitting过拟合

过拟合：指模型在训练集上表现很好，但是在测试集上表现很差。

造成过拟合的原因：

1. 训练集过小，模型无法cover所有可能的情况（泛化能力差）；

2. 模型过于复杂，过于贴合训练数据；

解决方法：

1. 增加训练数据（增加训练数据多样性，提升模型泛化能力），e.g. CNN数据增强

2. 降低模型复杂度，使用简单网络结构，浅层网络，简单卷积核...，决策树剪枝，GBDT的shrinkage；

3. Dropout；

4. Early stopping, 用于神经网络，指当在验证集上的性能不再提升时停止训练；

5. 正则化（L1可以起到特征选择的作用并减少噪声，L2可以使权值更加平滑）；

6. batch normalization

7. CNN中使用relu激活函数，使得负区域为0；

未完待续...