改进YOLO系列 | ICLR2022 | OMNI-DIMENSIONAL DYNAMIC CONVOLUTION: 全维动态卷积

请添加图片描述


在这里插入图片描述
单个静态卷积核是现代卷积神经网络(CNNs)的常见训练范式。然而,最近的动态卷积研究表明,学习加权为其输入依赖注意力的n个卷积核的线性组合可以显著提高轻量级CNNs的准确性,同时保持高效的推理。然而,我们观察到现有的作品通过卷积核空间的一个维度(关于卷积核数量)赋予卷积核动态属性,但是另外三个维度(关于每个卷积核的空间尺寸,输入通道数量和输出通道数量)被忽视了。受此启发,我们提出全维动态卷积(ODConv),这是一种更加通用但优雅的动态卷积设计,以推进这一研究领域。ODConv利用一种新的多维注意力机制和并行策略,以学习沿着卷积核空间的所有四个维度的卷积核的互补注意力。作为常规卷积的替代品,ODConv可以插入到许多CNN体系结构中。在ImageNet和MS-COCO数据集上的大量实验证明,ODConv为各种流行的CNN骨干结构带来了可靠的准确性提升,包括轻量级和大型结构,例如,在ImageNet数据集上,对于MobivleNetV2 | ResNet家族,绝对top-1改进为3.77%∼5.71% | 1.86%∼3.72%。有趣的是,由于其改进的特征学习能力,即使只有一个单独的卷积核,ODConv也可以与具有多个卷积核的现有动态卷积对手竞争或超越其性能,从

猜你喜欢

转载自blog.csdn.net/weixin_43694096/article/details/129291814