ICCV 2023：探索基于生成模型的 Backbone 预训练（DreamTeacher）

ICCV 2023：探索基于生成模型的 Backbone 预训练

目录

• 前言
• 相关工作
  • Discriminative Representation Learning
  • Generative Representation Learning
• DreamTeacher 框架介绍
  • Unsupervised Representation Learning
  • Label-Guided Representation Learning
• 实验
• 总结
• 参考

前言

我们这次要介绍的文章被接收在 ICCV 2023 上，题为：DreamTeacher: Pretraining Image Backbones with Deep Generative Models，我认为是个挺强挺有趣的自监督方面的工作。DreamTeacher 用于从预训练的生成网络向目标图像 Backbone 进行知识蒸馏，作为一种通用的预训练机制，不需要标签。这篇文章中研究了特征蒸馏，并在可能有任务特定标签的情况下进行标签蒸馏，我们会在后文详细介绍这两种类型的知识蒸馏。

事实上，之前已经在 GiantPandaCV 上介绍过一种 diffusion 去噪自监督预训练方法：DDeP，DDeP 的设计简单&#x