keras搬砖系列-调参经验
1，观察loss胜于观察准确率，loss设计要比较合理，对比训练集和验证集的loss
2，relu可以很好的防止梯度弥散的问题，当然最后一层激活函数尽量别用relu，如果分类则用softmax
3，BatchNorm 可以大大加快训练速度和模型的性能
4，Dropout防止过拟合，可以直接设置为0.5，一半一半，测试的时候把Dropout关掉
5，Loss选择，一般来说分类就是softmax，回归就是L2的loss，但是loss的错误范围(主要是回归)预测一个10000的值，模型输出为0
6，准确率是一个评测指标，但是训练过程中loss你会发现有些情况，准确率是突变的，原来一直是0，可能保持上千迭代，然后变1。而loss不会有那么诡异的发生，毕竟优化目标为loss
7，学习率设置得合理，太大loss爆炸，太小则没有反应
8，对不训练集和验证集的loss，判断过拟合，训练是否足够，是否需要Early Stop