Caffe归一化层解析(normalize_layer.hpp)

版权声明：本文为博主原创文章，转载请注明出处：https://blog.csdn.net/qq_31261509 https://blog.csdn.net/qq_31261509/article/details/83650591

归一化层介绍

---

• 归一化层主要作用是将空间或者通道内的元素归一化到0到1之间，具体公式可以表示为:
  $x_i = \frac{x_i}{(\sum_{1}^{n}x_i^2+eps)^\frac{1}{2}} * scale_i$

其中 $x_i$表示对应的元素，eps为了防止数据的溢出 。

Caffe normalize参数设置

• normalize层有两个参数，一个是across_spatial_另一个是channel_shared_。
• across_spatial_参数表示是否对整个图片进行归一化，归一化的维度为：1 x c x h x w，否则对每个像素点进行归一化：1 x c x 1 x 1。
• channels_shared表示scale是否相同，如果为true，则 $scale_i$都是一样的，否则对于同像素点位置一样，对不同像素点是不一样的