自注意网络，这个点，现在在NLP方面特别火，现在自注意力网络也有大量的应用在CV上面，尤其在结合CNN。那么这个self-attention和convolutionl layer之间到底有什么关系呢？是两个独立的模块还是两个可以转换关系。最近我看到了这篇论文。
On the Relationship between Self-Attention and Convolutional Layers 这个论文就是讲解了这个关系。我觉得论文挺好的，所以分享给大家。如果大家懒得看全文，只要看下面这一段就可以了。
这一段直接解释了两者之间的关系。