1. 训练集:用于模型训练,提供输入特征和目标,使模型可以学习到特征与目标之间的映射关系。训练集要尽可能大,能涵盖输入和输出的全部范围。
2. 验证集:用于验证模型在训练过程中的效果,并用来调整模型超参数。验证集和训练集应来自相同的数据分布,但必须是训练集之外的数据样本。验证集的大小通常为训练数据集的10-30%。
3. 测试集:用于评估模型的最终性能,测试集必须是模型训练过程中未曾使用过的数据。测试集也应来自相同的数据分布,其大小也为训练集的10-30%。
所以,总结一下,这3个数据集在开发机器学习模型的过程中分别有如下作用:
- 训练集:用于模型训练,提供特征和目标,使模型学习输入输出映射。
- 验证集:用于验证模型在训练过程中的效果,调整超参数。验证集必须是新的数据,与训练集分开。
- 测试集:用于最终评估模型性能,测试集也必须是模型训练未使用过的新数据。将数据分为这3个数据集,可以让我们合理评估机器学习模型的泛化性能,避免过拟合,并得到一个更加健壮的模型。