最近transformer网络真的非常火，尤其是在语义分割中，人们提出了各种各样的组合方法。我上一篇提到了一篇文章：TransUnet。这里另外一篇基于transformer的网络也出来了。比较出名，在这里推荐给大家。
废话不多说直接上整个网络的结构框架
这一篇文章相比于前面那篇，整个彻底的去掉了传统的CNN 网络结构。直接使用了transformer.这样做的目的是在不损失low-level细节的定位能力的情况下提高全局上下文建模效率的问题。众所周知，多次的卷积核池化操作很容易导致信息的丢失。具体的细节大家乐意看看论文中具体怎么说的。我在这里就不细说了。
我只是想说一句，现在一些热点出来以后，一些大组出文章太快了。本来一开始，我也准备尝试直接使用transformer进行语义分割的。但是没想到我刚构思思路，别人都已经做好了。只能感慨一声一个人单打独斗真的很辛苦。