BatchNormalization批量归一化

动机:

防止隐层分布多次改变,BN让每个隐层节点的激活输入分布缩小到-1和1之间.

好处:

缩小输入空间,从而降低调参难度;防止梯度爆炸/消失,从而加速网络收敛.

BN计算公式: 

猜你喜欢

转载自www.cnblogs.com/wzdLY/p/9726884.html
今日推荐