标签平滑:When Does Label Smoothing Help?

1:标签平滑技术在图片分类、语音识别、机器翻译等多个领域的深度学习模型中取得了很好的效果。
2:标签平滑的作用:
提高模型的泛化能力,防止模型过拟合,提升模型的修正能力,并进步提高模型的集束搜索能力。然而在teacher model中进行标签平滑,对student model的知识蒸馏效果会下降。

发布了36 篇原创文章 · 获赞 1 · 访问量 6384

猜你喜欢

转载自blog.csdn.net/qq_34291583/article/details/103317712