参考：迁移学习简明手册

1 迁移学习概念

学习迁移学习，首先要搞清楚三个问题，迁移学习是什么，为什么用，如何用？

1.1 是什么——介绍迁移学习

迁移学习，顾名思义，就是要进行迁移。放到我们人工智能和机器学习的学科里讲，迁移学习是一种学习的思想和模式。

迁移学习作为机器学习的一个重要分支，侧重于将已经学习过的知识迁移应用于新的问题中。

迁移学习的核心问题是，找到新问题和原问题之间的相似性，才可以顺利地实现知识的迁移。

例子：
比如同在北半球的中国，美国，日本，我们可以根据同在北半球这个相似性，来迁移判断美国日本同中国的气候相似。
而在澳大利亚、南非的气候可能就同以上相反，因为澳大利亚和南非在南半球。

再比如你会打乒乓球，那么你会打网球的可能性比较大。你会下象棋，那么你可能也会国际象棋。
在这里插入图片描述

1.2 为什么——为什么要用迁移学习、为什么能用

为什么用迁移学习归结为三点：

1.2.1 大数据与少标注之间的矛盾。

众所周知，机器学习模型的训练和更新，均依赖于数据的标注。而标注往往难以实现，且成本高。反过来说，特定的领域，因为没有足够的标定数据用来学习，使得这些领域一直不能很好的发展。

1.2.2 大数据与弱计算之间的矛盾。

大数据，就需要大设备、强计算能力的设备来进行存储和计算。然而，大数据的大计算能力，是” 有钱人” 才能玩得起的游戏。比如 Google，Facebook，Microsoft，这些巨无霸公司有着雄厚的计算能力去利用这些数据训练模型。而如何让普通人也能利用这些数据和模型呢？

1.2.3 普适化模型与个性化需求之间的矛盾

机器学习的目标是构建一个尽可能通用的模型，使得这个模型对于不同用户、不同设备、不同环境、不同需求，都可以很好地进行满足。但是具体到每个个体、每个需求，都存在其唯一性和特异性，一个普适化的通用模型根本无法满足。那么，能否将这个通用的模型加以改造和适配，使其更好地服务于人们的个性化需求？

1.2.4 特定应用的需求。

机器学习已经被广泛应用于现实生活中。在这些应用中，也存在着一些特定的应用，它们面临着一些现实存在的问题。比如推荐系统的冷启动问题（就是缺乏数据）

1.3 怎么办——如何进行迁移 (迁移学习方法)

针对上面四个问题，迁移学习各自提出了应对策略。

1.3.1 大数据与少标注：迁移数据标注

单纯地凭借少量的标注数据，无法准确地训练高可用度的模型。为了解决这个问题，我们直观的想法是：多增加一些标注数据不就行了？但是不依赖于人工，如何增加标注数据？利用迁移学习的思想，我们可以寻找一些与目标数据相近的有标注的数据，从而利用这些数据来构建模型，增加我们目标数据的标注。

1.3.2 大数据与弱计算：模型迁移

不可能所有人都有能力利用大数据快速进行模型的训练。利用迁移学习的思想，我们可以将那些大公司在大数据上训练好的模型，迁移到我们的任务中。针对于我们的任务进行微调，从而我们也可以拥有在大数据上训练好的模型。更进一步，我们可以将这些模型针对我们的任务进行自适应更新，从而取得更好的效果。

1.3.3 普适化模型与个性化需求：自适应学习

为了解决个性化需求的挑战，我们利用迁移学习的思想，进行自适应的学习（根据用户的情况形成模型）。考虑到不同用户之间的相似性和差异性，我们对普适化模型进行灵活的调整，以便完成我们的任务。

1.3.4 特定应用的需求：相似领域知识迁移

为了满足特定领域应用的需求，我们可以利用上述介绍过的手段，从数据和模型方法上进行迁移学习。
表1概括地描述了迁移学习的必要性。
在这里插入图片描述

2 迁移学习的分类

在这里插入图片描述

2.1 按目标域标签分

这种分类方式最为直观。类比机器学习，按照目标领域有无标签，迁移学习可以分为以下三个大类：

监督迁移学习 (Supervised Transfer Learning)
半监督迁移学习 (Semi-Supervised Transfer Learning)
无监督迁移学习 (Unsupervised Transfer Learning)

2.2 按学习方法分类

基于样本的迁移学习方法 (Instance based Transfer Learning)

就是说直接对不同的样本赋予不同权重，比如说相似的样本，我就给它高权重。
基于特征的迁移学习方法 (Feature based Transfer Learning)

意思是说，假设源域和目标域的特征原来不在一个空间，或者说它们在原来那个空间上不相似，那我们就想办法把它们变换一个空间里面，那这些特征不就相似了？
基于模型的迁移学习方法 (Model based Transfer Learning)

神经网络的结构可以直接进行迁移
基于关系的迁移学习方法 (Relation based Transfer Learning)

这个主要就是说挖掘和利用关系进行类比迁移。比如老师上课、学生听课就可以类比为公司开会的场景。这个就是一种关系的迁移。

目前最热的就是基于特征还有模型的迁移，然后基于实例的迁移方法和他们结合起来使用。

2.3 按特征分类

按照特征属性，迁移学习可以分为两个大类：

同构迁移学习 (Homogeneous Transfer Learning)
异构迁移学习 (Heterogeneous Transfer Learning)

举个例子来说，不同图片的迁移，就可以认为是同构；而图片到文本的迁移，则是异构的。

2.4 按离线与在线形式分

按照离线学习与在线学习的方式，迁移学习还可以被分为：

离线迁移学习 (Offline Transfer Learning)
在线迁移学习 (Online Transfer Learning)

目前，绝大多数的迁移学习方法，都采用了离线方式。即，源域和目标域均是给定的，迁移一次即可。这种方式的缺点是显而易见的：算法无法对新加入的数据进行学习，模型也无法得到更新。与之相对的，是在线的方式。即随着数据的动态加入，迁移学习算法也可以不断地更新。

3 迁移学习的应用