1.论文介绍
回顾深度学习的历史，卷积神经网络 (CNN) 无疑是计算机视觉中最受欢迎的模型。2012年，AlexNet 在 ImageNet 竞赛中获胜，开启了 CNN 在深度学习特别是计算机视觉领域的新时代。从那时起，众多的 CNN 已经成为潮流的引领者，如 Network In Network，VGG，Inception Nets，ResNe(X)t，DenseNet 等。
受 Transformer 在 NLP 中成就的影响，研究人员尝试将其模块或块集成到视觉 CNN 模型里面，比如 Non-local Neural Networks 和 DETR。此外，Image GPT (iGPT)[1]受语言生成预训练的启发，将像素视为 token，并采用纯Transformer 进行视觉自监督学习。然而，由于将像素视为 token 导致的计算成本太高，iGPT 处理高分辨率图像的能力也受限。
ViT 开创性地解决了这个问题，通过将图片 Patch 视为 token，并提出了一个简单的 patch embedding 模块来生成 input 的 Embedding。ViT 利用一个纯 Transformer 模型作为图像分类的 Backbone，在经过了大规模监督图像预训练后得到了惊人的表现。而且，ViT 进一步点燃了 Transformer 在计算机视觉中的应用热情。许多 ViT 变体，如 DeiT 和 Swin，在多种视觉任务中取得了显著的性能。类 ViT 模型优于传统 CNN 的性能 (Swin-T 81.2% ImageNet-1K v.s.ResNet