版权声明：感谢阅读，欢迎批评指正。 https://blog.csdn.net/skyejy/article/details/89715603
1.参数的更新
神经网络学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化。
除了SGD（stochastic gradient descent 随机梯度下降法）还有其他优化方法。
虽然SGD简单，并且容易实现，但是在解决某些问题时可能没有效率。SGD低效的根本原因是，梯度的方向没有指向最小值的方向。为了改正SGD的缺点，我们将用Momentum AdaGrad Adam三种方法来取代SGD
2.权重的初始值
在神经网络的学习中，权重的初始值特别重要。实际上，设定什么样的权重初始值，经常关系到神经网络的学习能否成功。
权值衰减（weight decay）就是一种以减小权重参数的值为目的进行学习的方法。通过减小权重参数的值来抑制过拟合的发生。
（1）权重初始值为标准差是0.01的高斯分布（std=0.01）
（2）Xavier初始值
（3）He初始值
3.Batch Normalization
Batch Norm有一下优点：
（1）可以使学习快速进行、增大学习率
（2）不那么依赖初始值
（3）抑制过拟合
Batch Norm的思路是调整各层的激活值分布使其拥有适当的广度。为此，要向神经网络中插入对数据分布进行正规化的层。
Batch Norm以进行学习时的mini-batch为单位，按mini-batch进行正规化。具体而言就是进行使数据分布的均值为0、方差为1的正规化。
