《Feature Pyramid Transformer》特征金字塔Transformer
涨点神器！可提高目标检测、语义/实例分割等任务性能，代码刚开源！
作者团队：南京理工&南洋理工&合工大&阿里达摩院等
跨空间和尺度的特征交互是现代视觉识别系统的基础，因为它们引入了有益的视觉系统。按照惯例，空间上下文被被动地隐藏在CNN越来越多的感受野中，或者被非局部卷积主动地编码。但是，非局部空间交互作用并不是跨尺度的，因此它们无法捕获位于不同尺度的对象（或零件）的非局部上下文。为此，我们提出了一种跨空间和尺度的完全活跃的特征交互功能，称为特征金字塔Transformer（FPT）。通过使用self-level，自上而下和自下而上这三个交互方式的特殊设计的transformers，它将任何特征金字塔转换为相同大小但具有更丰富上下文的另一个特征金字塔。 FPT充当通用的视觉骨干，具有合理的计算开销。我们使用各种backbone和head网络在实例级（即，目标检测和实例分割）和像素级分割任务中进行了广泛的实验，并观察了所有基线和最新方法的持续改进。