1 Large Separable Kernel Attention介绍
论文：Large Separable Kernel Attention: Rethinking theLarge Kernel Attention Design in CNN
具有大内核注意力（LKA）模块的视觉注意力网络（VAN）已被证明在一系列基于视觉的任务中提供了卓越的性能，超过了视觉转换器（ViTs）。然而，随着卷积核大小的增加，这些LKA模块中的深度卷积层导致计算和内存占用的二次增加。为了缓解这些问题，并允许在VAN的注意模块中使用超大卷积核，我们提出了一个大的可分离核注意模块族，称为LSKA。LSKA将深度卷积层的2D卷积核分解为级联的水平和垂直一维核。与标准LKA设计相比，所提出的分解能够在注意力模块中直接使用具有大内核的深度卷积层，而不需要任何额外的块。我们证明了所提出的VAN中的LSKA模块可以实现与标准LKA模块相当的性能，并且降低了计算复杂度和内存占用。我们还发现，随着内核大小的增加，所提出的LSKA设计使VAN更倾向于对象的形状，而不是纹理。此外，我们在ImageNet数据集的五个损坏版本上对VAN、ViTs和最近的ConvNeXt中的LKA和LSKA的稳健性进行了基准测试，这些版本在以前的工作中基本上没有探索。我们的大量实验结果表明，在VAN中提出的LSKA模块在增加内核大小的同时，显著降低了不计算复杂度和内存占用，