ALE-零学习zero-shot(Label-Embedding for Attribute-Base Classification)

1.文章提出的背景:
DAP有许多缺点:
(1)预测属性可以,预测类别不太行
(2)不能增量学习
(3)无法利用除属性外的信息
*先科普一下什么是DAP
DAP(Direct Attribute Prediction)

在这里插入图片描述

DAP可以理解为一个三层模型:
第一层是原始输入层,例如一张图片,用像素的方式进行描述;
第二层是n维特征空间,每一维代表一个特征;
第三层是输出层,输出模型对输出样本的类别判断。
在第一层和第二层中间,训练n个分类器,用于对一张图片判断是否符合n维特征空间各个维度所对应的特征;
在第二层和第三层间,有一个语料知识库,用于保存n维特征空间和输出y的对应关系。

在这里插入图片描述
2.提出问题:有什么办法可以解决DAP模型的缺点?
3.提出方法:
在这里插入图片描述

(1)将图片映射到特征空间中得到θ(x)(文章在第四部分4.1中的特征提取中有写到,将128维的SIFT向量和96维的颜色向量用PCA降维成一个64维向量,然后将其用FV聚合成图像级表示,然后产生SIFT的FV和颜色的FV,然后用高斯混合模型把他们连接成65535维FV,这些FV就是映射到特征空间上的)
(2)将标签嵌入到属性空间(语义空间)得到ϕ(y)(文章在第三部分3.2的ALE中有写到,用ρ(属性与类之间的联系),ρ为0/1,还用奇异值分解(SVD)进行属性去相关性,映射过去后进行归一化,归一到{0,1}中),把一个类别映射到合适的欧几里得属性空间中。
(3)设计一个θ(x)与ϕ(y)匹配度函数F(x,y;w)(输入数据x与类别y之间的匹配度)
两种求法(1)通过一个中间矩阵W使θ(x)与ϕ(y)相乘(2)欧式距离
如果θ(x)与ϕ(y)的维数较大,还可以进行低秩分解
(4)给定一个数据x,用f(x;w)进行预测,预测函数f要从所有类别y中,找到一个类别y使得F(x, y; w)的值最大。
Zero-shot learning(不能用辅助信息):文中借鉴WSABIE算法,使目标函数变为跟SSVM很相似的结构、对于每一个样本,计算对应每个类别的得分。然后从其他所有不是正确类别的得分中找出最大的得分;逐样本累加后即得到损失函数的值,然后利用SGD等方法对参数进行更新
Few-shots learning(能用辅助信息):为了使遇到之前训练样本中不存在对应类别的数据时,能逐步利用新的训练样本来改善模型。文中借鉴WSABIE算法,使目标函数在ZSL目标函数的基础上加上欧氏距离。其中参数Φ为在一定维度随机初始化的参数。在使用SGD等方法进行参数更新的时候,为使该损失函数的值尽可能得小,显然Φ要尽可能得接近ΦA,同时也利用了训练样本中存在的部分信息。从而使得ALE模型达到可以逐步利用新的训练样本(之前的训练样本中不存在的类别)的信息来改善模型。
4.实验
(1)数据集:AWA和CUB
(2)所做实验
*训练所使用的框架:通过与RR和多类别比较,发现用排序框架好
*属性嵌入:通过与{-1,+1}和均值比较,发现用{0,1}加上l2归一化好
*ALP和DAP:发现在越详细的数据集上,ALE效果更好
*ALE和HLE:发现将属性换成其他数据源(例如Wordnet)一样能行
5.结论
解决了上面所提到的三个问题(1)用文中所提出的匹配函数解决,不像DAP用属性,ALE用类
(2)用SGD解决(3)HLE也行,说明可以用其他源
还可以应用到大量数据标签的识别
6.不足
(1)没有优化属性分类器(文中也做了实验,发现不影响可解释性)
(2)在第三部分等式(3)下面D矩阵不一定能直接跟E矩阵相乘

猜你喜欢

转载自blog.csdn.net/zeshen123/article/details/109150509