数据集的划分（尚未完成）

在机器学习算法中，我们通常将原始数据集划分为三个部分：

（1）Training set（测试集）

（2）Validation set（验证集）

（3）Testing set（测试集）

其中Validation set的作用是用来避免过拟合的。在训练过程中，我们通常用它来确定一些超参数（例：根据Validation set的accuracy来确定early stoping的epoch大小，根据Validation set确定learning rate等等）。之所以不用Testing set，是因为随着训练的进行，网络会慢慢过拟合测试集，导致最后的Testing set没有参考意义。因此Training set用来计算梯度更新权重，Validation set的作用如上所述，Testing set则给出一个accuracy以判断网络性能的好坏。

Reference:

正则化方法：L1和L2 regularization、数据集扩增、dropout