论文Scaling Up Crowd-Sourcing to Very Large Datasets A Case for Active Learning提出两种AL算法。
首先找到分类器θ对未标注数据的不确定程度。然后让crowd对这些数据进行标定。下边介绍两种不确定性方法。
下边的u是未标记数据，但是是指未标注数据的每一个，而不是整体。
一：Uncertainty Algorithm
第二项计算公式：
二：MinExpError Algorithm
所以说MinExpError scores算法结合了，question的难度（不确定性）和这个回答能够提高我们分类器的结果的程度（影响较大的数据）。
