Revisiting Self-Training for Few-Shot Learning of Language Model，EMNLP2021

Method

本文提出了一个基于自监督语言模型的少样本文本学习框架SFLM。给定文本样本，通过屏蔽语言模型的提示学习方法，为同一个样本生成弱增强和强增强两个视图，SFLM在弱增强版本上生成一个伪标签。然后，当与强增广版本进行微调时，模型预测相同的伪标签。
整体的模型如下：

首先，给定一个有标签数据集 X \mathcal{X}