无监督图像掩码模型小抄(1)

前言

无监督是蛋糕中的主要部分。可以通过图像掩码，对比学习等途径实现预训练。

模型

BeiTv2

论文: BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers
代码: https://github.com/microsoft/unilm/tree/master/beit
博文: 图像掩码方法BEiT大升级，效果吊打MAE！

MAE

论文: Masked Autoencoders Are Scalable Vision Learners
代码: https://github.com/facebookresearch/mae

BeiT

论文: BEiT: BERT Pre-Training of Image Transformers
代码: https://github.com/microsoft/unilm/tree/master/beit