版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/nijiayan123/article/details/84991527
最近读了一篇很好的我文章 Residual Attention Network，这篇文章讲的是attention 机制应用到图像分类中。一开始以为这有多么高深的创新之处。看完发现他的创新之处很简单，他借鉴了residual net的思想来进行使用了attenention 机制。在这里我不进行逐字逐句的翻译。如果大家有兴趣可以自己去看。我在这里只是介绍一下这篇论文的主要思想。具体的论文的中实验细节。大家可以自己看论文。就像我上一篇博客说的 attention 机制就相当于权重的概念。那么这篇文章怎么使用了权重的呢。看下面的图
可以发现这里就是利用了resnet的思想进行了连接。权重就是左边的特征图。这样就形成了一个简单的attention 模块。在这里有卷积操作也有上采样采样。这样跟图像分割时一样的。下面一幅图更加直观的显示出了整个attention 机制的核心。
上面一幅图可以更加直观的反映出整个attention 机制的核心。下图是整个图像分类的网络框架
在这个整个网络模型的实现中有一些细节需要注意一下，那就是其中resnet 的大量使用。