transfer learning via learning to transfer
Ying Wei
背景：
Transfer learning: 从标注数据多的领域到少的领域
Research issue: when, how, what to transfer?
有的语义相关，有的关联较少
Former work： Brute-force exploration / expert design
能否不用expert design：Meta-cognitive reflection
框架：
Framework: learning to transfer framework
xyz： 源与目标领域，可以迁移的知识，带来performance的提升
目的是max z|x
与meta learning原理相似，meta的task是ML，而本文是迁移学习
可以迁移的知识可以认为是不同的迁移学习算法（浅层），用W_e参数，视为投影到影空间（类似embedding matrix）
将x y map到z上，回归任务 目标函数与1/performance ratio，即min 目标函数(1/performance ratio)
f(x1,x2,W_e)包含三部分，第一部分是两个distribution中心的距离，（W_e map后越接近越利于迁移学习）（mean），第二个是衡量overlap（越多越好 variance），第三个是衡量目标领域discriminative
目标函数是non linear，用kernel trick
Generation bound： 保证过去用了越多迁移学习，效果越好，确保可以online learning
实验：
Dataset: Caltech 256 -> Google Sketches
Baseline: 所有用到的迁移学习算法
Result：相比baseline有提高，特别是目标领域标注数据很少时，提升很大
验证generation bound
验证目标函数定义的合理性
W_e参数化后可以得到新的更好的学习的知识，而非仅仅是迁移学习算法的线性组合