当前最好的自我监督学习算法是「自监督对抗性训练」（Contrastive Learning），它已经在计算机视觉和自然语言处理领域获得了很好的效果。
自我监督学习是通过利用数据本身的内在结构和关系从而学习有用的表征方式。在自我监督训练中，不使用人工标签，而是从原始数据中自动提取标签，然后利用这些标签来训练模型。而Contrastive Learning是一种基于对比的自我监督学习算法。
Contrastive Learning的主要思路是将原始数据分为两个样本集，然后通过最小化同一集合内的样本距离，最大化不同集合内的样本距离从而学习模型。以自然语言处理为例，较常用的contrastive learning基于生成式的语言模型，例如GPT等。在这种情况下，模型可以在未来预测许多单词，然后对生成的单词计算相似度，从而得到模型的表征。
在计算机视觉领域，contrastive learning使用了学习两个视图，并且尝试最小化两个视图之间的距离、最大化同一视图之间的距离。近期通过使用自注意力机制，其效果得到了大幅提升，成为了当今最有效的预训练学习算法之一 。