声明！内容来源：如何防止过拟合。
什么是过拟合
为了得到一致假设而使假设变得过度复杂称为过拟合(overfitting)，过拟合表现在训练好的模型在训练集上效果很好，但是在测试集上效果差。也就是说模型的泛化能力弱。在很多问题中，我们费心费力收集到的数据集并不能穷尽所有的状态，而且一般训练得到的模型被用来预测未知数据的结果，模型虽然在训练集上效果很好，但是在实际应用中效果差，就说明这个模型训练的并不是很成功，还需要改进。就譬如下方的图像中，左边黑色直线在一定程度拟合数据排列，而蓝紫色的曲线就是照顾到每一个样本点，曲线弯弯折折，属于过拟合；右边黑色的曲线就能把红蓝两种数据点进行很好的分类，过拟合的绿色虽然在此数据上能完美分开两类数据点，可是对于一个新的数据集，其适应能力远不如黑色的曲线。
过拟合和机器学习面临的关键障碍，各类学习算法都必然带有一些针对过拟合的措施；然而必须认识到，过拟合是无法彻底避免的，我们所做的只是“缓解”，或者说减少其风险。那么如何解决过拟合？下面介绍几种方法。
1. 数据集扩增（Data Augmentation）
众所周知，更多的数据往往胜过一个更好的模型。就好比盲人摸象，不足够的数据让每个人对大象的认识都不同，学习太过片面。更多的数据能够让模型学习的更加全面，然而，在现实世界中，由于条件的限制，而不能够收集到更多的数据。所以，往往在这个时候，就需要采用一些计算的方式与策略在原有数据集上进行手脚，以获得更多的数据。数据集扩增就是要得到更多符合要求的数据。
在物体分类（object recognition）问题中，数据扩增已经成为一项特殊的有效的技术。物体在图像中的位置、姿态、尺度，整体图片敏感度等都不会影响分类结果，所以我们就可以通过图像平移、翻转、缩放、切割等手段将数据库成倍扩充。或者在语音识别（speech recognition）中，加入噪音也被看做是一种数据扩增方式。
2. 改进模型
过拟合主要有两个原因造成的，数据太少和模型太复杂，数据扩增增加数据量，下面我们通过使用合适复杂度的模型来防止过拟合问题，让其能够学习到真正的规则。对于模型复杂，最简单暴力的做法就是减少网络的层数和神经元的个数，但是一般不是很提倡这种做法，是因为人为并不能很好掌控删减的程度，因此下面介绍几种高效的方法。
2.1 Early Stopping
2.2 正则化（regularization）
2.3 Dropout
在神经网络中，Dropout方法通过修改隐藏层神经元的个数来防止网络的过拟合，也就是通过修改深度网络本身。对于下图中左边的神经网络，在训练过程中按照给定的概率随机删除一些隐藏层的神经元，同时保证输入层和输出层的神经元不变。便能得到左边的神经网络，从而简化复杂的网络。
在每一批次数据被训练时，Dropout按照给定的概率P随机剔除一些神经元，只有没有被剔除也就是被保留下来的神经元的参数被更新。每一批次数据，由于随机性剔除神经元，使得网络具有一定的稀疏性，从而能减轻了不同特征之间的协同效应。而且由于每次被剔除的神经元不同，所以整个网络神经元的参数也只是部分被更新，消除减弱了神经元间的联合适应性，增强了神经网络的泛化能力和鲁棒性。Dropout只在训练时使用，作为一个超参数，然而在测试集时，并不能使用。
当前Dropout被广泛应用于全连接网络，而在卷积层，因为卷积层本身的稀疏性和ReLU激活函数的使用，Dropout在卷积隐藏层中使用较少。
2.4 多任务学习
深度学习中两种多任务学习模式：隐层参数的硬共享和软共享
- 硬共享机制是指在所有任务中共享隐藏层，同时保留几个特定任务的输出层来实现。硬共享机制降低了过拟合的风险。多个任务同时学习，模型就越能捕捉到多个任务的同一表示，从而导致模型在原始任务上的过拟合风险越小。
- 软共享机制是指每个任务有自己的模型，自己的参数。模型参数之间的距离是正则化的，以便保障参数相似性。
