批量归一化Batch Normalization 动手学深度学习v2

1. 批量归一化Batch Normalization

2016年左右出来的

2. 代码实现

对比没有加BN 之前的效果，收敛没那么好

3. Q & A

• 1. Batch Normalization BN 在比较深的神经网络里面效果比较明显，比较浅的神经网络里效果不一定好。
• 2. batch norm 是个线性变化，所以一般用在激活函数之前

参考

https://www.bilibili.com/video/BV1X44y1r77r?p=1