vit的预训练方法

ICML2023 | 轻量级ViT的预训练实践手册 - 知乎本文介绍一下最近被ICML2023接收的文章： A Closer Look at Self-Supervised Lightweight Vision Transformers.论文链接： https://arxiv.org/abs/2205.14443代码链接： https://github.com/wangsr126/mae-lite 导…https://zhuanlan.zhihu.com/p/6269485871.有监督训练

2.无监督训练->对比学习 moco系列

取A图片的patch 1,2和B图片的patch 3，则1,2是一对，1,3不是一对。

3.无监督训练->MIM，masked-image-modeling，MAE

VIT我之前一直任务意义不大，即便在有clip的时候，我也认为对传统的分割，检测影响不大，但是sam出来之后，我觉得vit在视觉领域的应用还是很广的。