Dual Attention Networks for Multimodal Reasoning and Matching
CVPR 2017
图文匹配终极问题是整个Text与整个Image的匹配问题，但是这个问题比较难以解决，所以一个最基本的想法就是把这个问题拆分开来，Text由不同的单词构成，Image由不同的区域构成，如果能把Text的单词与Image的区域进行一个匹配，那么这个问题就会变得比较简单。
一个基本的思路就是使用Attention机制，在网络中自动匹配文本单词与图像区域进行匹配。作者引用了两种Attention机制，分别是：Visual Attention以及Text Attention。
一、Introduction
文章亮点：
1.文章提出双重attention机制：Visual Attention以及Text Attention，用triplet loss度量文本和图像之间的相似性。
2.训练出end-to-end模型
3.同时解决了VQA与Image-Text Matching的问题，提出了r-DAN与m-DAN模型
关注图片中“伞”和文本中“color”
关注语义相同的特定区域和单词，如图片中女孩和“girl”的相似度
二、Model
1.文本特征：将输入文本one-hot向量做word embedding，然后再用Bi-LSTM来提取文本的特征，文本的特征为N个512维的向量，最后将N个向量做平均得到初始化的文本特征向量 u_{0}
2.图像特征：将图像resize成448x448的大小，然后再利用152层的resnet，采用res5c卷积层的feature map，在这个feature map上面做pooling得到N个（image region的个数）2048维的特征向量，然后将N个2048维的特征向量取平均并乘一个权重矩阵，然后再用tanh激活得到初始化的图像特征 v_{0}
3.初始化记忆向量（memory vector）:
将初始化的文本特征向量 u_{0} 与初始化的图像特征
v_{0} 做点乘，得到初始化的记忆向量。
文中用了两种Attention机制，分别是：Visual Attention以及Text Attention。
这两种Attention都是使用前面一种的状态，决定下一个状态需要Attention的"位置"。
4.双重attention
文本attention:
将初始化的文本特征向量query(在r-DAN中为前一层的memory vector即前一层图像特征与文本特征的点乘)和文本的特征key
用两层前馈神经网络(FNN）相连，然后再用tanh激活并做点乘，然后用softmax做归一化得到权重向量（N维向量），利用权重向量将N个512维的向量做加权平均，得到文本attention向量。
图像attention:
分别将初始化的图像特征向量(在r-DAN中为前一层的memory vector即前一层图像特征与文本特征的点乘)和图像的特征
用两层前馈神经网络(FNN）相连，然后再用tanh激活并做点乘，然后用softmax做归一化得到权重向量（N维向量），利用权重向量将N个2048维的向量做加权平均，然后再乘以一个权重矩阵，最后再用tanh进行激活，得到图像attention向量。
两种Attention的步长K是超参，作者在实验中证明K=2效果是最好的。
5. VQA & Image-Text Matching
文中作者解决了两种不同的问题，都用到了前面的Attention机制，但是不同的问题，提出了r-DAN(用于VQA)和m-DAN（用于Image-Text Matching）两种模型
A. Visual Question and Answer
VQA本质上为分类问题，将图像attention特征和文本attention特征融合得到memory vector，做分类任务。
B. Image-Text Matching
图文匹配问题与VQA最大的不同就是，他要解决的是一个Rank问题，所以需要比对两种特征之间的距离，因此就不能共享一个相同的Memory Vector。
对应Image和Text都有自己的Memory Vector, 他们的计算公式如下：
每一步的Attention都会产生一个匹配的向量，这里做的是把所有的S进行相加。
6.Loss Function
Triplet Loss（文章中没有提到hard的思想，负样本应该是在minibatch里面随机选的）
相似度S为内积：
参考文章：
http://www.wangqingbaidu.cn/category/Papers/www.wangqingbaidu.cn