训练集（train set） —— 用于模型拟合的数据样本。
验证集（development set）—— 是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。
验证集可以用在训练的过程中，一般在训练时，几个epoch结束后跑一次验证集看看效果。(验证得太频繁会影响训练速度)这样做的第一个好处是，可以及时发现模型或者参数的问题，比如模型在验证集上发散啦、出现很奇怪的结果啦(如无穷大)、mAP不增长或者增长很慢啦等等情况，这时可以及时终止训练，重新调参或者调整模型，而不需要等到训练结束。另外一个好处是验证模型的泛化能力，如果在验证集上的效果比训练集上差很多，就该考虑模型是否过拟合了。同时，还可以通过验证集对比不同的模型。在一般的神经网络中， 我们用验证数据集去寻找最优的网络深度（number of hidden layers)，或者决定反向传播算法的停止点或者在神经网络中选择隐藏层神经元的数量；
由于验证集是用来”训练”超参数的，尽管验证集的误差通常会比训练集误差小，一般来说验证集比较小会低估泛化误差。所有超参数优化完成之后，泛化误差可能会通过测试集来估计。
在普通的机器学习中常用的交叉验证（Cross Validation) 就是把训练数据集本身再细分成不同的验证数据集去训练模型。
测试集 —— 用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。
| 类别 | 验证集 | 测试集 |
| 是否被训练到 | 否 | 否 |
| 作用 | 纯粹用于调超参数 | 纯粹为了加试以验证泛化性能 |
| 使用次数 | 多次使用，以不断调参 | 仅仅一次使用 |
| 缺陷 | 模型在一次次重新手动调参并继续训练后所逼近的验证集，可能只代表一部分非训练集，导致最终训练好的模型泛化性能不够 | 测试集为了具有泛化代表性，往往数据量比较大，测试一轮要很久，所以往往只取测试集的其中一小部分作为训练过程中的验证集 |
| 互相转化 | 验证集具有足够泛化性（一般来说，如果验证集足够大到包括大部分非训练集时，也等于具有足够泛化性了） | 验证集具有足够泛化性时，测试集就没有存在的必要了 |
PS：
1）验证集是一定需要的；
1）针对超参的选择我们是根据验证集上的效果来进行调整的，因此验证集可以看做参与到“人工调参”的训练过程；
2）注意训练集、验证集和测试集应该服从同一数据分布，这样我们才能进行玄学调参；
3）测试集的存在只是为了验证我们在训练集和验证集（通常验证集只是非训练集一个小子集）上进行模型的超参和参数训练后，验证我们得到的模型是否具有泛化性能，再做一次确认。如果验证集具有足够泛化代表性，测试集是可以没有的，但验证集是必须有的。