Squeeze-and-Excitation Networks
简介
SENet提出了一种更好的特征表示结构，通过支路结构学习作用到input上更好的表示feature。结构上是使用一个支路去学习如何评估通道间的关联，然后作用到原feature map上去，实现对输入的校准。支路的帮助学习到的是神经网络更加适合的表示。为了使网络通过全局信息来衡量通道关联，结构上使用了global pooling捕获全局信息，然后连接两个全连接层，作用到输入上去，即完成了对输入的重校准，可以使网络学习到更好的表示。
SQUEEZE-AND-EXCITATION BLOCKS
一个block的结构大致如下：
上图中Fsq是Squeeze过程，Fex是Excitation过程，然后通过Fscale将学习到的权重作用在输入上。
Squeeze: Global Information Embedding
作者将Squeeze过程称为global information embedding的过程，因为squeeze的过程实际上是对feature map利用global pooling来整合全局特征。
Excitation: Adaptive Recalibration
作者将Excitation过程称为重校准过程，因为此过程通过支路学习到的权重，作用到原输入上去，要实现对每个通道进行打分，即网络学习到通道score，则必须要学习到非线性结果，所以作者采用fc-relu-fc-sigmoid的excitation结构来实现score映射。
根据作者论文中的举例，可以清楚看到以Inception为例的Squeeze和Excitation过程：
而Fscale过程就是对应相乘，把每个通道的权重对应乘上input的对应通道feature。
这个论文比较好理解。