Transfer Learning 文章解析

transfer learning: 包含所有的source or target, labeled or unlabeled, finetune, multi-task learning的情况。总而言之一句话，训练的过程中用（单个数据集做supervised learning）之外的所有情况都算在transfer learning中。

supervised learning: 训练数据都有标签（单数据集）

unsupervised learning: 训练数据无标签（单数据集）

semi supervised learning: 训练数据一部分有标签，一部分没有标签（单数据集）

doman adaptation: 多数据集，target没有label，source有label（多数据集）

weakly supervised learning: 有标注错误，或者标注不全，或者需要做分割任务只有检测的标签等（单数据集）

更多的解释参见下图：

An Overview of Different Settings of Transfer

博文论文中出现的setting总结：

Setting1: universal semi-supervised semantic segmentation。 target和source都一部分有label，一部分没有label。

Setting2: cross-category semi-supervised semantic segmentation, in-category semi-supervised semantic segementation。

Setting3: partial domain adaptation, source和target都有标签，source标签比target多。

Setting4: Beyond domain adaptation, source domain 有image & label，target domain 训练时看不到，只有test可以看到。

以下文章以Segmentation为主

部分文章也有在做classification和detection任务

1. Weakly- and Semi-Supervised Panoptic Segmentation(ECCV, 2018)：

Setting: weakly- and semi-supervised semantic and instance segmentation。weakly: 使用检测框和类别标签，训练得到图像分割结果。semi: 加入一部分human-annotations（可以理解为：human class的分割标签）

Method: 单数据集，结合semantic seg和detector的结果加入instance seg的网络中，可以得到instance seg的结果。

根据检测框和物体标签得到结果的方法：训练multi-class网络，不同的分支取conv层的channel，根据检测框框出物体标签所在位置，根据该特定位置的heatmap得到粗略的预测分割结果。

Contribution：第一次提出使用weakly supervised non-overlapping instance segmentation。第一次在weakly supervise任务中同时进行semantic and instance segmentation。第一次在cityscapes执行weakly- and semi- supervised任务。

Backbone: psp+resnet101

Datasets: cityscapes, pascal voc.(coco辅助)

2. Penalizing Top Performers: Conservative Loss for Semantic Segmentation Adaptation(ECCV, 2018)：

Setting: unsupervised domain adaptation。

Method: 提出了一种新的loss: conservative loss。防止模型学得太差，判别性不足，也不要学得太好，陷入source domain的over fitting。中间部分尽量小，两端尽量大。概率靠近1的给比较低的loss，防止学得比较好。概率靠近0的，说明这部分需要增加训练，给高loss，让其多修改weight。

Contribution：新的loss

Backbone: FCN(vgg16)

Datasets: cityscapes, gtav, synthia

3. Domain Transfer Through Deep Activation Matching(ECCV, 2018)：

Setting: unsupervised domain adaptation。

Method: 在网络中间加很多gan, gan的loss是根据jsd（Jensen-Shannon divergence）计算的。

Contribution：新的loss

Backbone: classification: le-net. segmentation: erf-net

Datasets: classification: mnist, usps, svhn. segmentation: cityscapes, gtav, synthia

4. Partial Adversarial Domain Adaptation(ECCV, 2018)：(这篇工作的后续工作--Partial transfer learning with selective adversarial networks.)

Setting: partial domain adaptation, source和target都有标签，source标签比target多。

Method: 将adversarial learning用到partial domain adaptation中。

Contribution：将adversarial learning用到partial domain adaptation中。

Backbone: --(pada)

Datasets: office-31, office-home, imagenet-caltech, visda2017

4. Conditional Adversarial Domain Adaptation(NIPS, 2018)：

Setting: domain adaptation. 单任务，多数据集。 target没有label，source有label。

Method: 网络中间提取的特征和预测的类别相乘的结果做对抗学习。

Contribution：同method

Backbone: alexnet, resnet-50

Datasets: office-31, imageclef-da, office-home

5. Adversarial Multiple Source Domain Adaptation(NIPS, 2018)：

Setting: domain adaptation. 单任务，多数据集。 target没有label，source有label。

Method: supervised训练有标签的数据，多个discriminator区分各个source domain和target domain。

Contribution：同method

Backbone: --

Datasets: mnist, mnist-m, svhn, synthdigits

6. Importance Wegihted Adversarial Nets for Partial Domain Adaptation(CVPR, 2018)：

Setting: partial domain adaptation, source和target都有标签，source标签比target多。

Method: 加权discriminator(使用第一个d计算权重，第二个d来反传修改系数)。

Contribution：计算权重的discriminator

Backbone: resnet18

Datasets: office+caltech-10 object datasets, office-31 dataset, caltech-256

7. Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach(CVPR, 2017)：

Setting: unsupervised semantic segmentation。有分类标签，训练得到分割结果。

Method: 对物体分类，物体不同区域对分类的贡献不同，会有热图，去掉响应高的部分（其实是用图片均值代替），继续训练，得到热图，然后如此迭代，得到多个网络，有多个热图，拼起来可以粗略分出物体。

Contribution：classification --> segmentation. psl：擦除方法

Backbone: deeplab(vgg16)

Datasets: pascal voc 2012

8. Universal Semi-Supervised Semantic Segmentation(arxiv, 2018)：

Setting: universal semi-supervised semantic segmentation。 target和source都一部分有label，一部分没有label。

Method: 一共两个数据集，每个数据集。每个数据集有label的数据用supervised learning方法训练，没有label的数据用unsupervised learning的方法训练。unsupervised learning根据相似度算loss。

Contribution：新的setting，unsupervised learning根据相似度算loss

Backbone: resnet18

Datasets: cityscapes, camvid, id, sun rgb-d

9. Transferable Semi-supervised Semantic Segmentation(arxiv, 2018)：

Setting: cross-category semi-supervised semantic segmentation, in-category semi-supervised semantic segementation。

Method: l-net: 结合分类标签和分割标签训练得到prediction。p-net: adversarial learning

Contribution：l-net and p-net？？？

Backbone: DeepLab(vgg16) - L-net. CAM(vgg16) - classification net. 6-3*3 conv layer + 3 fully connected layers - P-net.

Datasets: PASCAL VOC 2012.

10. Virtual-to-Real: Leaning to Control in Visual Semantic Segmentation(IJCAI, 2018)：

并不能看懂，好像和robot有关？可能和我们关系不大。。先记录一下恩。。

Network: A3C(对比DR-A3C, ResNet-A3C)

Datasets: ADE20K

11. Label Efficient Learning of Transferable Representations across Domains and Tasks(NIPS 2017)：

Setting: labeled source data and unlabeled or sparsely labeled data in the target domain.

Method: 1 supervised loss(source domain & target domain labeled data)+2 GAN loss(source domain feature & target domain feature)+3 Entropy Loss(source feature & unlabeled target feature; labeled target feature & unlabeled target feature )