参考BN的paper可以获知：为了加快含BN层网络的模型训练，可以做
作者已然说明，仅仅将BN层用于一个网络并不会出现作者方法所有的优势，下面的操作可能会改善效果
1.增大学习率；
2.去掉Dropout，BN和Dropout的作用有些相似，去掉后可加速训练而不会提高过拟合；
3.去掉L2权重的正则化，L2 loss在模型中控制过拟合，在有BN后去掉此项可提高验证集acc；
4.加快学习率的衰减，小明哥理解为，比如初始化的LR=0.01，那么训练中下降很快，LR=0.001,0.00002,0.00000004
5.去掉局部响应归一化【Remove Local Response Normalization While Inception and other networks】不知道啥子意思
6.shuffle训练数据更彻底一点
7.减少图像扭曲/光度畸变。因为BN网络训练得快，观察每一个训练样例几次，我们让训练集中在更真实的image，减少扭曲
另外有相关问题可以加入QQ群讨论，不设微信群
QQ群：868373192
语音图像视频深度-学习群
