Collection | Multi-task learning & Transfer learning

Multi-task learning

Transfer learning

How transferable are features in deep neural networks?

迁移大法好；越深的特征特化越厉害。

1. 量化可迁移性：量化某一层general或specific，可以通过对比实验的方法。
2. 导致negative tranfer的因素：如果transfer without fine-tuning，以下两种情况会导致性能变差：
   （1）transfer的特征过于spec；
   （2）co-adapted neurons所在的相邻网络是分开的（frozen transferred特征以及后续层）导致的优化困难。
3. Transfer大法好：无论是froze还是fine-tune，都比随机初始化更好。
   即使继续继续继续fine-tune，效果仍然明显！
   即使是不太相似的任务，transfer也比随机效果好。
4. High layers的特征特化严重：如果transfer后froze，随着chop的深度增加，性能会越来越差。

Over 2000 citations. Bengio!