深度学习面试题：计算机视觉训练技巧

CosineAnnealingLR:模型受学习率影响大的模型

测试集数据增广：基本对结果有0.5%-1%的影响

注意：训练集用了哪些数据扩增方法，测试集才可以用对应的数据扩增方法

 

 soft label   与 pseudo label

 如何利用soft label进行模型蒸馏？

     用小模型学习大模型输出的分布

 是利用模型对测试集进行预测（打标），并将打标后的数据加入训练集进行训练

伪标签适用的条件是模型精度比较高，且是深度学习用的比较多