LRN—局部响应归一化层

版权声明:转载请说明来源,谢谢 https://blog.csdn.net/wsp_1138886114/article/details/81560160

LRN全称(Local Response Normalization)。

参数:
  1. norm_region: 选择:相邻通道间归一化还是通道内空间区域归一化,默认为ACROSS_CHANNELS,即通道间归一化;

  2. local_size:两种表示:

  • 通道间归一化时表示求和的通道数
  • 通道内归一化时表示求和区间的边长;默认值为5;
  1. alpha:缩放因子(详细见后面),默认值为1;
  2. beta:指数项(详细见后面), 默认值为5;
局部响应归一化层

完成一种“临近抑制”操作:对局部输入区域进行归一化

  • 在通道间归一化模式中,局部区域范围在相邻通道间,但没有空间扩展(即尺寸为 local_size x 1 x 1);

  • 在通道内归一化模式中,局部区域在空间上扩展,但只针对独立通道进行(即尺寸为 1 x local_size x local_size);

  • 每个输入值都将除以$ (1+\frac{ \alpha}{n}\sum_ix_i2)\beta$。

这一层已经被其它种的Regularization技术,如·drop out, batch normalization取代了。知道了这些,似乎也可以不那么纠结这个LRN了。

猜你喜欢

转载自blog.csdn.net/wsp_1138886114/article/details/81560160