本文用于了解迁移学习的基本知识！！！
1. 什么是迁移学习？
迁移学习也称为归纳迁移、领域适配，其目标是将某个领域或任务上学习到的知识或模式应用到不同的但相关的领域或问题中。例如学习走路的技能可以用来学习跑步、学习识别轿车的经验可以用来识别卡车等。
2. 迁移学习的主要思想？
从相关的辅助领域中迁移标注数据或知识结构、完成或改进目标领域或任务的学习效果。
3. 迁移学习研究的意义？
在很多工程实践中，为每个应用领域收集标注数据代价十分昂贵、甚至是不可能的，因此从辅助领域或任务中迁移现有的知识结构从而完成或改进目标领域任务是十分必要的、是源于实践需求的重要研究问题。
4. 迁移学习与传统机器学习相比的特点？
迁移学习放宽了传统机器学习训练数据和测试数据服从独立同分布这一假设，从而使得参与学习的领域或任务可以服从不同的边缘概率分布或条件概率分布。
5. 迁移学习与半监督学习的比较？
虽然传统半监督学习可以解决数据稀疏性，但其要求目标领域存在相当程度的标注数据；当标注数据十分稀缺且获取代价太大时，仍然需要从辅助领域迁移知识来提高目标领域的学习效果。
6. 迁移学习问题的描述？
迁移学习设计领域和任务两个重要概念。
领域D定义为由d维特征空间X和边缘概率分布P(x)组成；
任务T定义为有类别空间Y和预测模型f(x)(条件概率分布)组成
7. 查看领域间概率分布的差异性？
使用PCA方法将两个领域的数据降为二维后进行可视化。
8. 输入空间与特征空间的关系？
所有特征向量存在的空间称为特征空间。特征空间的每一维对应于一个特征，有时假设输入空间与特征空间为相同的空间；有时假设输入空间与特征空间为不同的空间，将实例从输入空间映射到特征空间。
9. 迁移学习的分类？
按照特征空间、类别空间、边缘概率分布、条件概率分布进行分类
分为两大类：异构迁移学习(源领域和目标领域特征空间不同或类别空间不同)、同构迁移学习(源领域和目标领域特征空间相同且类别空间相同)
10. 无监督迁移学习的特征表示法？
无监督迁移学习即目标领域没有标注数据的迁移学习任务。
通过学习新的特征表示Φ(x)，使得领域间共享特性增强而独享特性减弱。
其是基于假设：特征空间中的部分特征是领域独享的，而另一部分特征是领域共享的且可泛化的；或者存在一个领域间共享的且可泛化的隐含特征空间，该空间可以由特征学习算法在减小领域间概率分布差异的准则下抽取得到。
特征表示法可分为两个子类：隐含表征学习法和概率分布适配法。
隐含特征表示法：通过分析辅助领域和目标领域的大量无标注样例来构建抽象特征表示，从而隐式地缩小领域间的分布差异；
概率分布适配法：通过惩罚或移除在领域间统计可变的特征、或通过学习子空间嵌入表示来最小化特定距离函数，从而显式地提升辅助领域和目标领域的样本分布相似度。
11. 迁移学习问题的主要问题挑战？
包括经典机器学习的过拟合、欠拟合问题，以及迁移学习特有的欠适配、负迁移问题；
负迁移：辅助领域任务对目标领域任务有负面效果，目前从算法设计角度对负迁移问题研究的主要思想是减少在领域间迁移的知识结构，例如仅在领域间共享模型的先验概率、而不共享模型参数或似然函数。
欠适配：跨领域的概率分布适配问题未能充分修正。
欠拟合：学习模型未能充分刻划概率分布的重要结构。
过拟合：学习模型过度拟合样本分布的无关信息。
总而言之：过拟合和欠拟合针对的是某个领域的学习模型性能好坏，欠适配和负迁移针对的是辅助领域知识结构或模式对目标领域学习模型性能的影响。
12. 现有的概率分布相似性度量函数有哪些？
最大均值差异、布雷格曼散度等。
13. 迁移学习与机器学习的关系？
迁移学习强调的是在不同但是相似的领域、任务和分布之间进行知识的迁移。从本质上讲，迁移学习就是将已有领域的信息和知识运用于不同但相关领域中去的一种新的机器学习方法。迁移学习不要求相似领域服从相同的概率分布，其目标是将源领域里面已有的知识和信息，通过一定的技术手段将这部分知识迁移到新领域中，进而解决目标领域标签样本数据较少甚至没有标签的学习问题。
14. 根据源领域和目标领域中是否有标签样本将迁移学习分类？
归纳迁移学习：目标领域带有标签数据可以用于归纳目标领域中的预测模型，目标任务与源任务是不同但相关的。
直推式迁移学习：目标领域中数据没有标签，源领域有少量数据标签是可用的。源任务和目标任务是相同的。
无监督迁移学习：目标领域和源领域数据都没有标签，通过挖掘领域间内在结构特征进行迁移学习，源任务和目标任务是相关但不同的。
参考资料：
1. 龙明盛 博士论文《迁移学习问题与方法研究》
2. 张景祥 博士论文《迁移学习技术及其应用研究》