迁移学习——迁移什么东东
在预训练模型中存在各种特征数据与权重信息，有些是与分类识别的对象本身关联比较紧密的特征数据与权重信息，有些是一些比较共性的特征数据与信息，是可以被不同的任务或者对象之间共享的。
迁移学习就是要迁移那些共性特征数据与信息，从而避免再次学习这些知识，实现快速学习。简单点说迁移学习主要是实现卷积层共性特征迁移。
迁移学习的状况
一般的迁移学习是这样的：训练好一个网络（我们称它为base network）→把它的前n层复制到target network的前n层→target network剩下的其他层随机初始化→开始训练target task。其中，在做backpropogate（反向传播）的时候，有两种方法可以选择：（1）把迁移过来的这前n层frozen（冻结）起来，即在训练target task的时候，不改变这n层的值；（2）不冻结这前n层，而是会不断调整它们的值，称为fine-tune（微调）。这个主要取决于target数据集的大小和前n层的参数个数，如果target数据集很小，而参数个数很多，为了防止overfitting（过拟合），通常采用frozen方法；反之，采用fine-tune。
（ps:这一段是我复制的，原文很好，这里贴出链接）
https://blog.csdn.net/vvnzhang2095/article/details/79910502
