1. 论文基本信息
- 论文：Decoupled Knowledge Distillation
- 地址：https://arxiv.org/pdf/2203.08679.pdf
- 代码：https://github.com/megvii-research/mdistiller
2. 背景与摘要
知识蒸馏花样繁多，在有教师模型的基础上，知识蒸馏可以从response、relation、feature等角度进行研究，设计loss，本文中，作为认为其实最基础的KD仍然有很大的潜力可以挖掘。因此对KD方法进行改进，将教师模型中携带的信息进行解耦，分别监督，最终精度达到了SOTA，让KD方法再次焕发新春。
3. 方法介绍
KD中提出，教师模型包含dark knowledge，这种dark knowledge相比于hard label包含了更多的信息，因此学生模型可以学到更多的知识。但是教师模型的osftlabel有个缺点，就是两级分化比较严重，即对于top-1 class id会给出非常高的score接近1），对于其他的类别，其score接近0，因此在这里一般建议设置温度系数t，对标签进行平滑，增加教师模型中的dark knowledge。
上面这种做法其实有个缺点：对于不同的教师模型，可能都需要设置不同的温度系数（教师模型的拟合程度不同），这个增加了蒸馏的难度。
作者在研究的过程中，发现其实KD loss是可以解耦的，解耦为
- ta