Hint layer
Hint layer是《FitNets: Hints for Thin Deep Nets》提出的一个概念
Hint定义是：teacher的隐含层输出，用来引导student的学习过程。类似的又从student中选择一个隐含层叫做guided layer，我们希望guided layer能预测出与hint layer相近的输出。
self-knowledge distillation
t-1时刻的student model作为t时刻student的teacher
Knowledge Distillation 知识蒸馏 之 Hint layer & self-knowledge distillation
猜你喜欢
转载自blog.csdn.net/hxxjxw/article/details/115296872
今日推荐
周排行