从continuation method 到课程学习(Curriculum Learning)

continuation method是一种思想,就是不能一口吃个胖子,一步一步的解决问题。

ch

初衷是为了解决非凸问题的解决,就如上图的黑色。  分步骤的方法有很多。其中就包括了上图的红色,对黑色做模糊处理。

课程学习,以及基于课程学习(Curriculum Learning)的自步学习Self-paced Learnings是另外一种思路。就是学习要从简单的开始,一步一步来。先学初等数学,再学高等数学。

课程学习的原始论文里,作者先调了几个简单的图像学习,再逐渐加入复杂的图像。要学一只狗,一个照片里只有一只狗,就是简单图像。这只狗很小,蜷缩在一堆柴火堆里,这就是复杂图像。

具体实现上,下面这个公式很能说明问题。

一般的学习里面,没有v,v的作用就是本轮学习,需要加入的样本。当v = 0时,这个样本是不加入本次学习。v 全是0,也就是不学习,损失是最小的。

这么想是错误,错在哪呢?  因为我们要研究的所有样本,首先假设样本都参与进来,然后,看谁贡献大,所以,后面就有红色的减号后面的部分。每个样本都加1,然后,看谁贡献的少。先给每个样本机会,再让他们赛跑。

随着学习的深入,我们需要加入越来越的样本,直到所有样本的加入。

所以,就加了代表轮次的1/K,轮次越多,加入的样本越多。

发布了15 篇原创文章 · 获赞 6 · 访问量 4967

猜你喜欢

转载自blog.csdn.net/becgiggs/article/details/88605586