1 过拟合
1.1 定义
是指模型对于训练数据拟合呈现过当的情况，反映到评估指标上就是模型在训练集上的表现很好，但是在测试集上的表现较差。结果就是训练出的模型泛化能力差。
1.2 如何防止过拟合
防止过拟合的方法有4种：
1）增加训练集数据；
该方式是从数据入手，将更多的数据参与到模型的训练中，这是最有效的方法，这样可以让模型学习到更多更有效的特征，降低噪声对模型的影响。
但是往往直接增加数据是困难的，因此可以通过一定的规则来扩充训练数据。列举两种方式：
①如图像分类问题中可以通过对图像的平移，缩放，旋转等方式来扩充；
②也可以使用生成式对抗网络类合成大量数据。
2）降低模型复杂度；
在数据量较少的情况下，模型过于复杂将会导致过拟合，因此可以通过降低模型的复杂度来防止过拟合，这样就可以一定程度上避免模型拟合过多的采样噪声。
比如：
①神经网络中减少网络成熟，神经元个数等；
②决策树中降低树的深度和进行剪枝。
3）增加正则化约束项；
比如将权值的大小加入到损失函数中，避免权值过大带来的过拟合风险。
4）通过集成学习的方式训练模型。
集成学习是把多个模型集成到一起来作为共同的模型，可以降低单一模型的过拟合风险。如bagging方法。
2 欠拟合
2.1 定义
是指模型在训练集合测试集数据上的表现均不好的情况。结果就是训练出的模型表达能力不够，精度不够。
2.2 如何防止欠拟合
防止欠拟合的方法有3种：
1）增加特征数；
当特征不足或者现有特征与样本标签的相关性不强时，模型易出现欠拟合。
可以通过挖掘上下文特征，ID类特征，组合特征等新的特征，可以取得较好的效果。这属于特征工程相关的内容，如因子分解机，梯度提升决策树，deep_crossing都可以丰富特征。
2）增加模型复杂度；
模型简单时其表达能力较差，容易导致欠拟合，因此可以适当地增加模型复杂度，使模型拥有更强的拟合能力。
如线性模型中添加高次项，神经网络中增加网络层数或神经元个数。
3）减小正则化系数。
正则化是用于防止过拟合的，但是当出现欠拟合时，就有必要针对性地减小正则化系数。
转载于:https://www.cnblogs.com/zhuzhudong/p/11088892.html