吴恩达改善深层神经网络参数：超参数调试、正则化以及优化——深度学习的实用层面

训练/开发/测试集

在配置训练、验证和测试数据集的过程中做到正确决策会在很大程度上帮助大家创建高效的神经网络。
训练神经网络时，我们要做很多决策：
1.网络层数
2.每层隐藏单元数
3.学习速率
4.各层激活函数
我们不可能从一开始就准确测出这些信息和其他超参数。
神经网络是一个高度迭代的过程，通常在项目启动时，首先会有一个初步想法，然后编码并尝试运行这些代码，通过运行和测试得到该神经网络的结果，然后根据输出重新完善自己的想法，改变策略或者为“得到更好的神经网络”不断更新自己的方案。

创建高质量的训练数据集、验证集、测试集也有助于提高循环效率。
其中：训练集是用来训练数据得到网络模型，验证集是选择最好的模型，测试集是对模型进行评估。
1.在数据集不大的情况下：
训练：测试 = 7:3
训练：验证：测试=6:2:2
在大数据情况下，测试集和验证集的比例要降低
训练：验证：测试=8:1:1
训练：验证：测试=9:0.5:0.5
2.确保验证集和测试集的数据集是同一分布
3.没有测试集也可以