A PyTorch implementation of the Transformer model in "Attention is All You Need".
A novel sequence to sequence framework utilizes the self-attention mechanism, instead of Convolution operation or Recurrent structure, and achieve the state-of-the-art performance on WMT 2014 English-to-German translation task. (2017/06/12)
以下内容摘自：深度学习入门之注意力机制
视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需关注目标的细节信息，而抑制其他无用信息。
这是人类利用有点的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大的提高了视觉信息处理的效率与准确性。Fig Att-2形象的展示了人类在看到一幅图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于Fig Att-2所示的场景，人们会更多注意力