本人github
批归一化（Batch Normalization, BatchNorm）是一种旨在提高神经网络训练速度和稳定性的技术。它通过以下几个方面实现这些目标：
-
缓解协变量偏移:
- 在深度神经网络的训练过程中，每一层的输入分布可能会随着前一层参数的更新而改变，这种现象称为内部协变量偏移（Internal Covariate Shift）。批归一化通过规范化每一层的输入，使其分布保持稳定，从而缓解协变量偏移问题。
-
加速训练过程:
- 通过保持每层输入的分布稳定，批归一化使得神经网络能够在较大的学习率下训练，从而加速收敛，减少训练时间。
-
允许更高的学习率:
- 由于批归一化有助于稳定网络训练，它允许使用更高的学习率，而不会导致训练不稳定或发散。
-
降低参数初始化的敏感性:
- 在没有批归一化的情况下，不恰当的参数初始化可能导致训练不稳定。而批归一化可以降低网络对参数初始化选择的敏感性。
-
具有一定的正则化效果:
- 批归一化在一定程度上提供了一种形式的正则化，因为它添加了微小的噪音到每一层的输入中。这种正则化效果有助于防止网络过拟合。
-
简化了优化问题:
- 通过对每层输入的规范化，批归一化可以简化网络训练中的优化问题，使损失面更平滑，从而更容易找到优化问题的全局最优解。
-
使得网络能够更好地利用非线性激活函数:
- 通过将每层的输入规范化到固定的范围内，批归一化可以减少激活函数饱和的可能性，使得网络能够更好地利用非线性激活函数（例如ReLU及其变种）。
由于以上的好处，批归一化现在已经成为许多深度神经网络架构的标准组成部分。