[1]A Survey on Transfer Learning:CUHK的杨强教授于2010年发表在IEEE的Transactions on knowledge and data engineering上关于迁移学习的综述性论文。
在许多机器学习和数据挖掘算法中，一个主要的假设是训练和未来的数据必须在相同的特征空间中，并且具有相同的分布。然而，在许多实际应用程序中，这种假设可能不成立。例如，我们有时在一个感兴趣的领域中有一个分类任务，但是在另一个感兴趣的领域中我们只有足够的训练数据，在另一个领域中，后者可能位于不同的特征空间或遵循不同的数据分布。
在这种情况下，如果成功地进行知识迁移，就可以避免昂贵的数据标记工作，从而大大提高学习性能。近年来，迁移学习作为一种新的学习框架应运而生。本研究的重点是分类和回顾目前迁移学习在分类、回归和聚类问题上的进展。在本研究中，我们讨论了迁移学习与其他相关机器学习技术的关系，如领域适应domain adaptation、多任务学习multitask learning、样本选择偏差sample selection bias以及co-variate shift。同时，我们也探讨了迁移学习研究中一些潜在的未来问题。
[2]Domain Adaptation via Transfer Component Analysis:CUHK的杨强教授于2011年发表在AAAI的提出的应用在Domain Adaption上的TCA。
领域自适应Domain Adaptation通过利用不同但相关的源领域中的训练数据来解决目标领域中的学习问题。直观地说，发现一个好的特征表示是至关重要的。在本文中，我们提出了一种新的学习方法，迁移成分分析Transfer Component Analysis(TCA)来寻找这种表示形式，用于Domain Adaptation。
TCA尝试使用最大平均偏差Maximum Mean Discrepancy(MMD)学习在一个可复制核希尔伯特空间Reproducing Kernel Hilbert Space(RKHS)中跨域的Transfer Component。在这些传输分量所张成的子空间中，不同区域的数据分布比较接近。因此，利用该子空间中的新表示，我们可以应用标准的机器学习方法来训练源域中的分类器或回归模型，以便在目标域中使用。研究的主要贡献是提出了一种新的特征表示方法，该方法利用特征提取方法，通过新的参数核进行域自适应，将数据投影到所学习的Transfer Component上，极大地减小了域分布之间的距离。此外，我们的方法可以处理大型数据集，并自然地导致样本外泛化。通过跨域室内WiFi定位和跨域文本分类两个实际应用的实验，验证了该方法的有效性和有效性。
[3]Transfer Feature Learning with Joint Distribution Adaptation：JDA方法首次发表于2013年的ICCV，它的作者是清华大学的博士生（现为清华大学助理教授）龙明盛。本篇介绍的JDA相当于TCA的增强算法。前作：Domain Adaptation via Transfer Component Analysis。
迁移学习是一种有效的计算机视觉技术，它利用源域中丰富的标记数据为目标域构建精确的分类器。然而，以往的方法并没有同时减小域间的边界分布和条件分布的差异。在本文中，我们提出了一种新的迁移学习方法，称为Joint Distribution Adaptation联合分布适配(JDA)。具体地说，JDA的目标是在一个有原则的降维过程中，联合适配jointly adapt边缘分布和条件分布，并构造新的特征表示，对于较大的分布差异，该特征表示是有效和鲁棒的。大量的实验证明，JDA在四种类型的跨域图像分类问题上可以显著优于几种最先进的方法。
[4]How transferable are features in deep neural networks?：发表于NIPS 2014，本篇论文的作者是Jason Yosinski博士（当时是康奈尔大学的博士生），Uber AI联合创始人。同时三作是Yoshua Bengio，也是刚刚获得了图灵奖。
许多以自然图像为训练对象的深度神经网络都表现出一个奇怪的共同现象：在第一层，它们学习到类似Gabor过滤器和色块的特征。这些第一层特性似乎不是特定于特定的数据集或任务，而是通用的，因为它们适用于许多数据集和任务。特性最终必须由网络的最后一层从一般特性过渡到特定特性，但是这种过渡还没有得到广泛的研究。本文对深卷积神经网络各层神经元的通用性和特异性进行了实验量化，得到了一些令人惊讶的结果。可迁移性受到两个不同问题的负面影响：
较高层次神经元对其原始任务的专门化，以牺牲目标任务的性能为代价，这是预期的；
与共适应神经元之间的网络分裂相关的优化困难，这是预期不到的。在一个基于ImageNet的示例网络中，我们演示了这两个问题中的一个可能占主导地位，这取决于特性是从网络的底部、中部还是顶部传输的。
我们还记录了随着基本任务和目标任务之间距离的增加，特征的可移植性降低，但是即使是从遥远的任务迁移特征也比使用随机特征要好。最后一个令人惊讶的结果是，初始化一个具有几乎任意层传输的特性的网络可以提高泛化能力，即使在对目标数据集进行微调之后，泛化仍然存在。
[5]Domain Adaptive Neural Networks for Object Recognition：PRICAI 2014的DaNN（Domain Adaptive Neural Network）。
提出了一种简单的神经网络模型来处理目标识别中的Domain Adaptive问题。我们的模型将Maximum Mean Discrepancy(MMD)作为正则化方法引入监督学习中，以减少潜在空间中源域和目标域的分布不匹配。从实验中，我们证明MMD正则化是一种有效的工具同时在SURF选取特征和原始图像像素的一个特定的图像数据集上，来提供良好的领域适应模型。我们还表明，提出的模型中，之前denoising auto-encoder预训练，达到更好的性能比最近的基准模型在相同的数据集。这项工作代表了在神经网络背景下对MMD测量的首次研究。
[6]Deep domain confusion: Maximizing for domain invariance：来自来自加州大学伯克利分校的Eric Tzeng等人发表在arXiv 2014的DDC（Deep Domain Confusion）。DDC针对预训练的AlexNet（8层）网络，在第7层（也就是feature层，softmax的上一层）加入了MMD距离来减小source和target之间的差异。这个方法简称为DDC。
最近的报告表明，在大规模数据集上训练的通用监督深度CNN模型减少了(但没有消除)标准benchmark上的数据集bias。在一个新的领域中对深度模型进行微调可能需要大量的数据，而对于许多应用来说，这些数据是不可用的。我们提出一种新的CNN架构，它引入了一个适应层和一个额外的domain confusion损失，以学习一个语义上有意义和域不变的表示。此外，我们还展示了一个domain confusion度量可以用于模型选择，以确定自适应层的维数和该层在CNN体系结构中的最佳位置。我们提出的适应方法提供了经验的表现，这超过了以前发表的标准benchmark视觉领域适应任务的结果。
[7]Learning Transferable Features with Deep Adaptation Networks：清华大学助理教授Mingsheng Long (龙明盛)发表在国际机器学习顶级会议JMLR 2015上的深度适配网络(Deep Adaptation Network, DAN)。前作DDC：Deep domain confusion: Maximizing for domain invariance。
最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到新的领域适应任务。然而，随着深度特征在网络中最终由一般特征向特定特征过渡，随着domain差异的增大，深度特征在更高层次上的可移植性显著下降。因此，形式化地减少数据集偏差，增强任务特定层的可移植性是非常重要的。
本文提出了一种新的深度自适应网络(DAN)结构，将深度卷积神经网络推广到领域自适应场景。在DAN中，所有特定于任务的层的隐藏表示都嵌入到一个可复制的内核Hilbert空间中，在这个空间中可以显式匹配不同域分布的平均嵌入。采用均值嵌入匹配的多核优化选择方法，进一步减小了domain间的差异。DAN可以在有统计保证的情况下学习可转移的特性，并且可以通过核嵌入的无偏估计进行线性扩展。大量的经验证据表明，该架构在标准域适应基准上产生了最先进的图像分类错误率。
[8]Geodesic flow kernel for unsupervised domain adaptation：2012年发表在CVPR，GFK作为子空间变换方面是最为经典的迁移学习方法，它建立在2011年发表在ICCV上的另一篇开创性质的文章（SGF）。
在视觉识别的实际应用中，许多因素，如姿态、光照或图像质量，都可能导致训练分类器的源域与应用分类器的目标域之间的严重不匹配。因此，分类器在目标域中的性能通常很差。Domain Adaption技术旨在纠正这种不匹配。现有的方法侧重于学习跨域不变的特性表示，它们通常不直接利用许多视觉数据集固有的低维结构。
在本文中，我们提出了一种新的基于核的方法来利用这种结构。我们的测地线流内核Geodesic flow kernel通过集成无穷多个子空间来模拟域的移动，这些子空间描述了从源到目标域的几何和统计特性的变化。我们的方法在计算上是有利的，自动推断重要的算法参数，而不需要广泛的交叉验证或来自任何领域的标记数据。我们还引入了一个可靠的度量方法来度量一对源域和目标域之间的适应性。对于给定的目标域和多个源域，可以使用该度量自动选择最优的源域，以适应和避免不太理想的源域。对标准数据集的实证研究表明，我们的方法优于竞争的方法。
[9]Conditional Adversarial Domain Adaptation：清华大学助理教授Mingsheng Long (龙明盛)发表在国际机器学习顶级会议Neural2018上提出的新的Domain Adaptation的条件对抗网络。
对抗性学习已被嵌入到深层网络中，用于学习解纠缠和可转移的领域适应表示。在分类问题中，现有的对抗性域自适应方法可能无法有效地对齐多模态分布的不同域。在本文中，我们提出了一个条件对抗性域适应的原则框架，该框架对分类器预测中所传递的判别信息建立了对抗性适应模型。条件域对抗性网络(CDANs)采用了两种新的条件调节策略：多线性条件调节和熵条件调节。前者通过捕获特征表示与分类器预测之间的交叉方差来提高分类器的识别率，后者通过控制分类器预测的不确定性来保证分类器的可移植性。有了理论保证和几行代码，这种方法在5个数据集上已经超过了最先进的结果。
[10]Transfer Learning via Learning to Transfer：最近有一篇叫做《Learning To Transfer》的文章火了，被ICML 2018接收。后来一篇《Transfer Learning via Learning to Transfer》被PMLR2018接受。
在迁移学习中，要解决的两个主要问题是什么和如何迁移，因为在源域和目标域之间应用不同的迁移学习算法会导致不同的知识迁移，从而提高目标域的性能。确定最大限度地提高性能的最佳方案需要进行彻底的探索或大量的专业知识。同时，教育心理学普遍认为，人类通过对归纳迁移学习实践的元认知反思，提高了决定迁移内容的迁移学习技能。
基于此，我们提出了一种新的迁移学习框架，即学习迁移(learning to transfer, L2T)，通过利用以前的迁移学习经验，自动确定什么迁移是最好的，以及如何迁移。我们建立了L2T框架，分两个阶段进行:
通过从经验中加密迁移学习技巧，学习一个反射函数，；
通过对反射函数的优化，推导出未来一对域的最佳传输方式和最佳传输方式。从理论上分析了L2T算法的稳定性和推广界，并通过实验证明了其相对于几种最先进的迁移学习算法的优越性。
[11]Open Set Domain Adaptation：本专栏专门讲Domain Adaptation的第一篇论文。这篇文章是接受于ICCV 2017，文章的setting是特别新颖的，获得了ICCV Marr Prize 提名。所以很值得一看。
当训练和测试数据属于不同的领域时，对象分类器的精度会显著降低。因此，为了减少数据集之间的域转移，近年来提出了几种算法。然而，所有可用的域适应评估协议都描述了一个封闭的集合识别任务，其中两个域，即源和目标，都包含完全相同的对象类。在这项工作中，我们还探索了开放集中的域适应领域，这是一个更现实的场景，其中源数据和目标数据之间只共享几个感兴趣的类别。因此，我们提出了一种同时适用于闭集和开集场景的方法。该方法通过联合解决一个赋值问题来学习从源到目标域的映射，该问题为那些可能属于源数据集中出现的感兴趣类别的目标实例贴上标签。全面的评估表明，我们的方法优于最先进的。
[12]Partial Transfer Learning with Selective Adversarial Networks：清华大学助理教授Mingsheng Long (龙明盛)发表在国际机器学习顶级会议CVPR2018。
对抗性学习已经成功地嵌入到深度网络中，以学习可迁移的特征，从而减少源域和目标域之间的分布差异。现有的域对抗网络假设跨域完全共享标签空间。在大数据的存在下，将分类和表示模型从现有的大规模域迁移到未知的小规模域具有很强的动力。引入部分迁移学习，将共享标签空间的假设松弛为目标标签空间仅是源标签空间的一个子空间。以往的方法一般都是将整个源域与目标域匹配，对于局部迁移问题，容易产生负迁移。我们提出了选择性对抗性网络Selective Adversarial Networks(SAN)，它通过选择离群源类来避免负迁移，通过最大程度匹配共享标签空间中的数据分布来促进正迁移。实验表明，我们的模型在多个基准数据集上的局部迁移学习任务的性能优于最先进的结果。
[13]Importance Weighted Adversarial Nets for Partial Domain Adaptation：计算机视觉顶会CVPR 2018接收：《Importance Weighted Adversarial Nets for Partial Domain Adaptation》。文章作者团队来自澳大利亚卧龙岗大(University of Wollongong)
本文提出了一种基于权重加权对抗网络的无监督域自适应方法，特别适用于目标域类数少于源域的局部域自适应。以往的领域自适应方法一般采用相同的标签空间，从而减小了分布的差异，实现了可行的知识迁移。然而，在更现实的场景中，这种假设不再有效，该场景需要从更大、更多样化的源域适应到更小、类数更少的目标域。本文扩展了基于对抗性网络的域自适应方法，提出了一种新的基于对抗性网络的局部域自适应方法来识别可能来自异常类的源样本，同时减少了域间共享类的迁移。
[14]DANN：Unsupervised Domain Adaptation by Backpropagation：发表在ICML15上。论文提出了用对抗的思想进行domain adaptation，该方法名叫DANN(或RevGrad)。核心的问题是同时学习分类器 、特征提取器 以及领域判别器 。通过最小化分类器误差，最大化判别器误差，使得学习到的特征表达具有跨领域不变性。
高性能的深层体系结构是针对大量标记数据进行训练的。在缺少特定任务的标记数据的情况下，域自适应通常提供了一个有吸引力的选项，因为具有类似性质但来自不同域的标记数据(例如合成图像)是可用的。在此，我们提出了一种在深层体系结构中进行域自适应的新方法，该方法可以训练来自源域的大量标记数据和来自目标域的大量未标记数据(不需要标记的target domain数据)。
随着训练的进行，该方法促进了
- 对源域上的主要学习任务具有鉴别性的深层特征的出现
- 关于域之间的迁移具有不变性
我们证明，这种自适应行为几乎可以在任何前馈模型中实现，通过增加几个标准层和一个简单的新的梯度逆转层。生成的增强体系结构可以使用标准的反向传播进行训练。
总的来说，使用任何深度学习包都可以轻松地实现该方法。该方法在一系列的图像分类实验中取得了良好的效果，在存在较大的域迁移的情况下，取得了较好的自适应效果，在Office数据集上的性能优于以往的先进方法。
[15]Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach：由Yoshua Bengio领导完成发表在ICML2011上，引用量超1000+的论文，算是domain adaptation发表较早的论文。
在线评论online reviews和推荐recommendations的指数增长使得情感分类成为学术和工业研究中一个有趣的话题。评审可以跨越许多不同的领域，因此很难为所有这些领域收集带注释的训练数据。因此，本文研究了情绪分类器的域适配问题，在此基础上，设计了一个基于一个源域的带标记评论训练系统，并将其应用于另一个源域。我们提出了一种深度学习方法，该方法学习以一种无监督的方式为每个评审提取有意义的表示。在一个由4种亚马逊产品评论组成的基准测试中，使用这种高级特征表示训练的情感分类器明显优于最先进的方法。此外，该方法具有良好的可扩展性，使我们能够在22个域的更大的工业强度数据集上成功地进行域适应。
[16]Domain Adaptation for Object Recognition: An Unsupervised Approach：由马里兰大学帕克分校完成发表在ICCV2011上，引用量超600+的论文，算是domain adaptation发表较早的论文。
将训练在源域上的分类器用于识别来自新目标域的实例是最近受到关注的一个重要问题。在本文中，我们提出了在对象识别上下文中关于无监督域适应的首批研究之一，其中我们只标记了来自源域的数据(因此没有跨域的对象类别之间的对应关系)。出于增量学习,我们创建中介表示两个域之间的数据通过查看生成子空间维度(相同的)从这些领域创建点Grassmann歧管,沿着测地线和采样点之间获取子空间,提供一个有意义的描述底层域的转变。然后我们得到标记源域数据在这些子空间上的投影，从中学习一个判别分类器对目标域上的投影数据进行分类。我们讨论了我们的方法的扩展，用于半监督自适应，以及用于多个源和目标域的情况，并在标准数据集上报告竞争结果。
[17]Deep CORAL: Correlation Alignment for Deep Domain Adaptation
深度神经网络能够从大量标记的输入数据中学习强大的表示，但是它们不能很好地概括输入分布的变化。提出了一种域自适应算法来补偿由于域移动而导致的性能下降。在本文中，我们解决了目标域未标记的情况，需要无监督的自适应。CORAL[1]是一种非常简单的无监督域自适应方法，它用线性变换对源和目标分布的二阶统计量进行对齐。在这里，我们将CORAL扩展到学习一个非线性转换，该转换将深层神经网络(deep CORAL)中的层激活关联对齐。在标准基准数据集上的实验显示了最先进的性能。
[18]Simultaneous Deep Transfer Across Domains and Tasks：由Eric Tzeng, Judy Hoffman等完成发表在ICCV2016上，引用量高达400+，也算是迁移学习领域相当高引的一篇好文章。
最近的报告表明，一个训练在大规模数据集上的通用监督深度CNN模型减少了数据集bias，但没有完全消除。在一个新领域中对深度模型进行微调可能需要大量的标记数据，这对于许多应用程序来说根本不可用。我们提出一种新的CNN架构来利用未标记和稀疏标记的目标域数据。我们的方法同时对域不变性进行优化，以方便域迁移，并使用软标签分布匹配soft label distribution matching损失在任务之间传递信息。我们提出的适应方法提供了经验性能，超过了之前发表的两个标准基准视觉领域适应任务的结果，评估跨监督和半监督适应设置。
[19]Domain-Adversarial Training of Neural Networks
提出了一种新的领域适应表示学习方法，即训练和测试时的数据来自相似但不同的分布。我们的方法直接受到域适应理论的启发，该理论认为，要实现有效的域转移，必须基于不能区分训练(源)域和测试(目标)域的特征进行预测。
该方法在神经网络体系结构的上下文中实现了这一思想，神经网络体系结构的训练对象是源域的标记数据和目标域的未标记数据(不需要标记目标域数据)。随着培训的进展，该方法促进了(i)对源领域的主要学习任务具有任意的特征的出现，(ii)对域之间的转换具有不加区别的特征。
我们证明，这种自适应行为几乎可以在任何前馈模型中实现，通过增加几个标准层和一个新的梯度反转层。生成的增强架构可以使用标准的反向传播和随机梯度下降进行训练，因此可以使用任何深度学习包轻松实现。我们证明了我们的方法成功地解决了两个不同的分类问题(文档情感分析和图像分类)，其中在标准基准上实现了最先进的领域适应性能。我们还验证了描述符学习任务在人员再识别应用中的方法。
