[半监督学习] Simple semi-supervised training of part-of-speech taggers

这篇论文将半监督学习应用在词性标注(POS)上, 在当时取得了不错的效果. 不过这篇文章非常简洁, 全部内容只有4页, 是 NLP 领域的顶会 ACL 上的短文. 主要的贡献是对 Tri-Training 进行简单改进, 提出带分歧的 Tri-Training. 由于是当时没人将这种 Tri-Training 引入到 POS 中, 所以这篇文章还能在 ACL 上发表.

论文地址: Simple semi-supervised training of part-of-speech taggers
会议: ACL 2010
任务: 词性标注

Tri-Trianing

Tri-Training 的思想总结如下: 首先从标记数据集 $L$ 中用 bootstrap 采样获得三个不同的数据集 $S_i$, 这样做的目的是增加多样性, 然后使用 $S_i$ 训练三个分类器 $c_i$. 对于未标记数据集 $U$ 中的示例 $x$, 如果 $c_j$ 和 $c_k$ 对其预测的结果一致, 那么就把 { ( x i , c j ( x ) ) } \{(x_i,c_j(x))\} { (xi​,cj​(x))} 添加到 $c_i$ 的训练集 $L_i$ 中, 并利用更新后的 $L_i$ 重新训练 $c_i$. 一直重复这个过程, 直到三个分类器不在发生变化为止. 最终的预测结果通过分类器的多数投票结果给出. 一些算法细节可以去看 Tri-Training 原文, 或之前的文章 Tri-Training. Tri-training 算法如下:

带分歧的 Tri-training

带分歧的 Tri-training 改动非常简单, 直接对上图算法中的第9, 10行进行修改, 如下所示:

非常容易理解, 如果分类器 $c_j$ 和 $c_k$ 都同意对数据 $x$ 的预测, 但 $c_i$ 不同意, 就可以自然的认为 $x$ 是 $c_i$ 的弱点. 并希望通过 $x$ 来加强 $c_i$.