1、数据集配置
有人将数据集划分成训练集、验证集和测试集，也有人只划分成训练集和测试集。
验证集和测试集的数据来源要一致。
尽量保证数据的来源一致。
对于小型数据集的划分一般的分配比例是7/3（训练集和测试集）或者6/2/2(训练集、验证集和测试集)
对于大型数据集的划分一般的分配比例是98/1/1 或者99.5/0.4/0.1
2、欠拟合和过拟合
欠拟合：模型对训练数据的预测准确率较低
过拟合：模型对训练数据集的预测准确率较高，但是对验证数据集的预测准确率很低
欠拟合的解决方法
-
使用更复杂的网络（网络的层数、神经元的个数）
-
增加训练次数
-
使用其他网络架构
-
尝试寻找优化方法
过拟合的解决方法
-
增加训练数据
-
使用正则化（L1、L2等）
-
使用不同的网络架构
-
Dropout
3、Dropout
也是解决过拟合的常用方法之