论文基本信息
- 题目：Tripartite: Tackle Noisy Labels by a More Precise Partition
- 地址：https://arxiv.org/pdf/2202.09579.pdf
- 领域：知识蒸馏
1. abstract & motivation
数据质量对于模型精度至关重要，数据集中一般混有部分噪声数据或者误标注的数据，误标注的数据会导致模型学偏，因此最好的办法就是在训练集中去除这种数据。
相比于正常的数据，噪声数据或者难样本计算的loss一般要更大一些，因此可以将其作为判断样本类型的依据。
为了避免噪声数据对于模型训练的损害，同时最大化数据的价值，这篇论文在使用的时候，本文在训练的时候，给hard-data赋予很低的loss权重，同时使用自监督的方法去血吸噪声数据的信息。实验证明，文本提出的方法可以更准确地过滤掉噪声数据，同时在5个benchmark上也超过了现有SOTA。
2. introduction
现有处理noisy label的方法主要有2种。
（1）small loss criterion：该方法假设noisy label的loss很大，因此可以设置阈值T，当 l o