迁移学习(Transfer learning)
顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习（starting from scratch，tabula rasa）。简单来讲我们首先利用大量相关数据进行训练，再用当前数据空间中的少量数据进行微调。
损失函数（loss function）
是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。但不是越小越好。
风险函数(risk function)。
风险函数是损失函数的期望，这是由于我们输入输出的 遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，
关于训练集的平均损失称作经验风险(empirical risk)，即
，所以我们的目标就是最小化
，称为经验风险最小化。
目标函数（objective function）
我们不仅要让经验风险最小化，还要让结构风险最小化。这个时候就定义了一个函数 ，这个函数专门用来度量模型的复杂度，在机器学习中也叫正则化(regularization)。常用的有
,
范数。
到这一步我们就可以说我们最终的优化函数是： ，即最优化经验风险和结构风险。