简洁版 CVPR-2017论文笔记《Active Convolution: Learning the Shape of Convolution for Image Classification》

版权声明:转载请注明作者与网址,谢谢 https://blog.csdn.net/zsx1713366249/article/details/84923634

作者提出一种灵活的卷积单元,形状在训练中学习得到,这种结构使得网络具有更强的表达能力。

这篇论文提出了一种新的卷积单元,主动卷积单元ACU(Active Convolution Unit),在次之前,从AlexNet到如今的ResNet,GoogleNet等各种网络架构的提出,人们研究的基本上都是网络的结构,而很少有人关注卷积单元本身,作者提出的ACU具有灵活的特性,卷积单元的形状不是固定的,而是在训练中(反向传播)学习得到。由于形状不固定,ACU具有以下的优点:

       1)ACU是一般化的卷积; 它不仅可以定义所有传统的卷积,还可以定义具有局部像素坐标的卷积。我们可以自由地改变卷积的形状,从而提供更大的自由形成CNN结构。

       2)卷积的形状是在训练时学习的,没有必要手动调整。

       3)ACU可以比传统的卷积单元更好地学习,可以通过将传统卷积改为ACU来获得改进。

      

          由于ACU的形状不固定,因而没有必要是3*3或5*5这种,如上左图可以将ACU与上一层的神经元的连接点(成为突触)有6个,突触的数目可以随意指定,位置是学习得到的,因而突触需要两个位置参数(竖直方向的偏移量和水平方向的偏移量)去确定它的位置,而且这种位置很可能是小数,也就是突触连在两个在神经元之间(上右图)。这时候突触位置的value是利用与其最近的四个像素点的双线性插值得到。

         突触的位置参数是在反向传播的过程中不断学习,另外的权重和偏置和传统卷积单元的学习方式相同。位置参数的学习受权重影响。在位置参数的学习率方面,由于开始的权重一般是随机设置的,因而作者提出最开始1000次迭代,不学习位置参数,之后才开始学习,并且由于突触位置的移动幅度很关键,反向传播误差会在层间波动导致学习效果不好,作者提出使用归一化梯度,只使用梯度的方向不使用大小,来控制移动幅度。

         作者在普通的网络和ResNet,AlexNet上,以及不同的数据集上做了对比实验,结果实验效果在同等条件下要好(零点几个百分点)。这说明,更加灵活和自由的卷积单元,网络的表达能力更强。
 

猜你喜欢

转载自blog.csdn.net/zsx1713366249/article/details/84923634