[NIPS2018 笔记] Stacked Semantics-Guided Attention Model for Fine-Grained Zero-Shot Learning

论文下载地址

Abstract: Zero-Shot Learning (ZSL) is achieved via aligning the semantic relationships between the global image feature vector and the corresponding class semantic descriptions. However, using the global features to represent fine-grained images may lead to sub-optimal results since they neglect the discriminative differences of local regions. Besides, different regions contain distinct discriminative information. The important regions should contribute more to the prediction. To this end, we propose a novel stacked semantics-guided attention (S2GA) model to obtain semantic relevant features by using individual class semantic features to progressively guide the visual features to generate an attention map for weighting the importance of different local regions. Feeding both the integrated visual features and the class semantic features into a multi-class classification architecture, the proposed framework can be trained end-to-end. Extensive experimental results on CUB and NABird datasets show that the proposed approach has a consistent improvement on both fine-grained zero-shot classification and retrieval tasks.

零样本学习是通过对齐图像全局特征向量和对应的类别语义描述之间的语义关系实现的。然而，使用全局特征来表示细粒度图像可能会导致次优结果，因为这种表示忽略了局部区域的判别性差异。另外，不同区域包含了不同的判别性信息。重要的区域对预测结果贡献更大。为此，我们提出了一种新颖的堆叠语义引导注意力（ $S^2GA$）模型，通过使用单独的类别语义特征来逐步引导视觉特征以生成用于加权不同局部区域的重要性的注意力图来获得语义相关特征。将集成的视觉特征和类语义特征输入到多类分类架构中，可以对提出的框架进行端到端的训练。在CUB和NABird数据集上的大量实验结果表明，所提出的方法在细粒度零样本分类和检索任务方面都有一致的改进。

问题

细粒度零样本中问题。

如图1所示，全局特征仅捕获一些整体信息，相反，区域特征捕获与类别语义描述相关的更多局部信息。

Motivation：当试图识别未见类别的图像时，人们更多关注基于关键类别语义描述的信息区域。此外，人类通过排除不相关的视觉区域并以渐进的方式定位最相关的视觉区域来实现语义对齐。

方法

多层注意力机制

创新点：间接学习注意力图，通过类语义描述引导加权不同区域。

语义描述是怎么嵌入网络的？？？

f - 局部嵌入网络
输入：局部特征 $V_I$
输出：?
g - 语义引导网络
输入：融合局部特征（全局） $V_G$ + 类别语义向量 $c$
输出：?

Fusion是什么操作？

从公式1看，fusion也是按像素乘的操作。

$h_A=tanh(f(V_I) \oplus g(V_G)) \tag {1}$

$p_I=softmax(W_Ph_A+b_P) \tag {2}$

$h_A \in R^{d \times m}$是隐含空间的融合特征
$V_I \in R^{p \times m}$ 是区域特征向量， $m$个 $p$维的区域特征向量
$V_G \in R^p$是融合特征向量
$\oplus$表示按像素乘法
$p_I \in R_m$是区域特征的注意力概率

$f(V_I)=h(W_{I, A} V_I) \tag {3}$

$g(V_G)=h(W_{G, A}h(W_{G, S} V_G)) \tag {4}$

$h$是一个非线性函数（实验中使用ReLU）
$W_{I, A} \in R^{d \times p}$, $W_{G, S} \in R^{q \times p}$, $W_{G, A} \in R^{d \times q}$是要学的参数，其中， $q$是类别语义空间的维度， $d$是隐含空间的维度。

$\min Loss_G=|| h(W_{G, S}, V_G) - s || \tag {5}$
为了将类别语义信息嵌入到注意力网络， $g$网络的第二层的输出强制靠近对应的类别语义特征。

数据

输入：图片两个鸟类数据集
输出：？