李宏毅机器学习课程－Transfer Learning

深度学习 -> 强化学习 ->迁移学习（杨强教授报告)

李宏毅机器学习课程－Transfer Learning

迁移学习－吴恩达
freeze

---

待处理的

理解深层神经网络中的迁移学习及TensorFlow实现

---

Transfer Learning模式

Similar domain, different tasks

Different domains, same task

Transfer Learning四种情形

Transfer Learning-Model Fine-tuning

Conservative Training

Layer Transfer（需要实践）

不同任务共享前几层，往往会有较好的结果。

Speech: usually copy the last few layers
Image: usually copy the first few layers

Jason Yosinski,Jeff Clune,Yoshua Bengio,HodLipson, “How transferable are features in deep neural networks?”, NIPS, 2014 　这篇文章给出Transfer learning 方法有指导意义。（待总结）

Transfer Learning - Multitask learning（需要实践）

---

Transfer Learning-Domain-adversarial training（需要实践）

共享feature

不同Domain,　Feature的分布不一样。

去掉Domain的Feature特性去掉。

　两个不同任务的大型网络。

Domain-adversarial trainingYaroslav Ganin,Victor Lempitsky, Unsupervised Domain Adaptation by Backpropagation, ICML, 2015

Hana Ajakan,Pascal Germain,Hugo Larochelle,François Laviolette,Mario Marchand, Domain-Adversarial Training of Neural Networks, JMLR, 2016

实验结果

---

Transfer Learning-Zero-shot learning（需要实践）

不去直接去分类，而是将image映射到新的维度，将Feature映射到新的维度，目标是在新的维度，两者更接近。

目标函数的设置（亮点）

参考文献

Transfer Learning

深度学习 -> 强化学习 ->迁移学习（杨强教授报告)