Multi-taskcurriculum transfer deep learning of clothing attributes
2016on wacv (winter conference on application of computer version)
目的是为了将卖家秀训练的网络识别出买家秀
这篇文章主要用到了迁移学习transfer learning。
目前（2016.12）的顶尖的衣服识别网络FashionNet, DARN and DDAN
与DDAN/DARN和FashionNet的区别
1. 与DDAN：DDAN没有使用相同图片对（pair reltions）
2. 与DARN：DARN用到了同衣物像对，但是网络结构中，只使用了FC来学习表达属性，以及接下来的属性分类。
3. 与Fashionnet：MTCT不需要使用landmark，这些属性位置的标注信息，因此对数据的要求更开放
关于要解决的问题的定义
每件衣服的图片有一系列的元标签（如衣物类别，领型），属于多标签识别任务 multi-label recognition problem
原来的数据sourceimages是从网店上获取的online shopping，有卖家秀属性；目标数据target images是相应的留言栏中得到的买家秀自拍照selfie，数量少。但是有助于迁移学习的是这么得到是图片有成对的对应关系。
元标签相对于衣物是局部的关系be localised to image regions; 不同风格的照片之间是全局的关系holistic image-level。
困难与方案
1. 同样是有两个数据域，two-domains。同时，其中一个域的数据缺少人工标注训练数据。这里使用多任务联合训练网络结构，抓取潜在是属性间关系的方法。
2. 对于细粒度属性，是使用MTCT多任务网络对属性建模。
除了图片样式和背景差异明显外，数据域不同的两个额外的潜在含义还包括：
首先是标注信息在不同域中不同。
源数据集的图片比目标域的图片多，图片数量的不一致（控制图片及标注数量的情况下，有可能出现）
相同属性被标注为不同的类别。
网络结构
Multi-taskregression networks 用于人脸建模，这篇文章使用了与之相似的想法——使用网络学习一种衣物多任务区分性网络。
使用多任务网络，相比于独立属性建模的方式，用到了更少的需要学习的参数，不容易过拟合。Compared to independent attribute modelling, such multi-tasklearning also involves a smaller number of to-be-learned model parameters andthus with a lower model overfitting risk towards the given training data,beyond modelling mutual relations among different types of attributes and theircommon representations.
这个网络MTN有５个堆叠的NIN卷积网络单元，和属性个数相同的平行分支。每个分支是三个FC层来模拟相应的类别属性，使用softmax对各类别分类。
在这里之所以三层FC，是因为需要针对特征有表征学习，这是不同于DARN网络的地方。
Cross-domaintransfer learning
克服买家秀数据量少的困难，作者使用的方法是上图中的CT方法课程迁移学习：人和动物学习东西的策略是先易后难，逐步的学习，而不是盲目的随机获取。
针对这篇文章要解决的问题，难易程度的排序有：卖家秀图多质高样式多，比买家秀给力。局部和全局特征相比，局部的是具体特征；全局的是相互对应的目标对，是抽象的，holistic (cross-domain pairing) and local annotations (source domainattributes)。
迁移的思想
具体方式是：构建三元组{源图片，目标中相同图片作为正样本，目标中不同图片作为负样本}然后使用trilet loss,计算loss所用的特征为最后一层卷积层结果.
最后使用的时候,只使用迁移后的目标网络.
关于数据:
细粒度的衣物属性包括:种类,扣子,颜色,长度,款式,形状,领子,袖长,袖子形状.
这些属性的特征空间不一样大,即可选空间不一样
这些属性间的差异可能很微小,subtle,纤维和棉料.
属性标注是整幅图层面上的,没有确切的位置,所以是弱监督分类
如果数据是网店展示的和街拍照片,又有很大的差异.
实施细节
评价方法：
DeepDomain Adaptation Network (DDAN)：可跨域的特征识别方法，通过得到两个域的中间状态学习特征。capable of learning domain invariant features by particularlyaligning middle level representations of two domains
DualAttribute-aware Ranking Network (DARN)：通过属性标注以及跨域的特征对来学习
FashionNet：多任务识别
对于MTCT模型，有以下4中方式：
不迁移学习：直接将源数据训练的网络应用在目标数据中。这可以秀出神经网络的强大的泛化能力。
JAN：使用DARN作为基础，将DARN在源数据集中训练，直接在目标数据集中测试。
Uniteddomains：将源数据集和目标数据集合并，特征的泛化能力可以因为数据变多进一步提高。
微调的方法：经典的vanilla transfer learning，即fine-tuning
MTCT：这篇文章的方法
结果：
MTN(NoAdpt)比r JAN(NoAdpt) (DARN)有更好的泛化能力，说明多任务学习有助于提高精度。
MTN(UD)好于MTN(NoAdpt)，说明源数据集和目标数据集差异大时，学习目标数据集中的特征是有必要的
MTN(FTT)要更好一些，fine-tune可提高精度有论文有相似的证明，此文中，先从源数据集中训练，再在街拍数据集中训练。有由易到难的训练策略。不过这种方式，没有用到图片对的这一有利信息。
这就是MTCT，由易到难，多层次信息。
训练数据大小对训练结果的影响
多个模型，选取原数据集的部分数据子集{100%，75%, 50%, 10%}用于训练，看他们几个的表现。
