元学习 meta-learning

总结一下元学习的概念

meta-learning主要是为了解决冷启动或者数据很少的情况，它的想法是学习到任务空间中的一个最优点，这个点与所有任务的最优解是最近的，也就是说学习到一个更好的泛化模型。本质上来说，meta-learning学习的其实是模型参数的一个最优初始化参数。

MAML
下面这幅图比较形象地说明了MAML学习的过程：

${\theta}$代表一个任务模型的参数矩阵，比如说CNN的权重等等。meta-learner就是通过梯度下降去逼近离 ${\theta_1,\theta_2,\theta_3}$最优解最近的点。

Meta-SGD
除meta-learner以外还将步长考虑进去，即更新的是 ${\theta}$和 ${\alpha}$两个参数。