读论文,衣物检索:Clothing Retrieval with Visual Attention Model(2017.10.31)

Clothing Retrieval with Visual Attention Model(2017.10.31)

创新点

VAM不需要强监督训练信息的landmark;

提出了Impdrop方法,是将Dropout应用于feature层面

 

困难:

同样是双域问题

Landmark所对应的多属性的细粒度标注信息的 处理方式。

 

相关研究

1.       Wh方法是为了学习不同域的相似度度量《Where to buy it: Matching street clothing photos in online shops (2015)》

2.       部分参数共享方法parameterpartial-sharing method 是处理不同域的影像是共享部分参数《A parameter partial-sharing cnn architecture for cross-domain clothing retrieval(2016)》。

 

处理图像中的扰动信息

按顺序->

1.       之前的数据增广data augmentation方法有利于神经网络的训练;

2.       但是数据本身的扰动信息,如相同物体的背景或者遮挡,处理手段目前有限,

3.       作者认为使用事先标注的位置框,可以直接让网络“看到”目标,算是一种处理这种信息扰动形式的方式,具体的是指FashionNet在识别衣服的不同款式时,使用人工标注的landmark指示出了诸如领子/袖子等部位。

4.       作者给出的方法就是attention architecture——让神经网络自动学习一种可寻找目标的attention机制。

 

具体的实现(attention机制)

1.       首先,训练一个FCN网络,得到attention maps。

2.       然后,attention map和中间结果组合,得到特征向量,用来检索衣物。其中,组合的实施方式是Impdrop connection结构,消除了背景。

3.       最后,由此所得到的loss,既训练主网络又训练VAM

1.       图片同时输入到两个分支里面,具体按照图片中说明的方式得出相应的结果。

2.       其中,feature maps/attention map和attention feature maps有相同的宽高,除attention map外,剩余两个有相同的channel。这儿和DropOut没太多关系,也没有借鉴关系,其实就是简单相称。

3.       Upper layers A/B有相同的网络结构和网络参数。

至于为嘛FCN不和原图片组合(就是抠出来):

1.       图片尺寸,FCN的输出尺寸小于原图。

2.       与原图组合的话,产生额外的假边缘。

3.       产生当前中间层的feature map在上面所说的假边缘的地方,感受野是会跨过这条边缘线的。

 

为嘛叫Impdrop

1.       Attention map和Feature maps组合,将重要的部分抠出来,就是使用点乘的方式。

2.        这么做的副作用是overfitting on small datasets,小数据集会过拟合。这就想到了DropOut方法,生成一个同channel的列表,这个列表最终获得有效的channel数目。但是这个列表不是完全随机的,是和attenion map中数值相关的。

 

猜你喜欢

转载自blog.csdn.net/daniaokuye/article/details/79807183