1. 论文基本信息
- 论文：Self-Distillation from the Last Mini-Batch for Consistency Regularization
- 地址：https://arxiv.org/pdf/2203.16172.pdf
- 代码：https://github.com/Meta-knowledge-Lab/DLB
- 会议：CVPR2022
2. 背景与摘要
关于知识蒸馏方法的研究其实已经很多了，知识蒸馏本质上是一种正则化方法，图像分类任务中，在加上蒸馏之后，数据集的train acc基本上都有所降低，而eval acc在参数合适的情况下，基本都会有所提升。
使用教师模型进行知识蒸馏，一般来说对机器的计算能力要求比较高，同时过程也比较繁琐。以往的自蒸馏策略一般需要改变模型结构，比如加入attention block或者dropout等。本文对这种自蒸馏策略进行改进，基于对相同batch 数据的预测结果一致性进行蒸馏，最终提出了DLB蒸馏方法，达到了SOTA。
3. DLB方法流程图
DLB方法流程图如下，在每次迭代的时候，每个batch的数据包含 b t b_t <