[endereço do papel] [código] [NeurIPS 2020]
Abstrato
O aprendizado semi-supervisionado (SSL) fornece um meio eficaz de aproveitar dados não rotulados para melhorar o desempenho do modelo. Recentemente, foram feitos progressos rápidos neste campo, mas à custa da necessidade de abordagens mais sofisticadas. Neste artigo, propomos FixMatch, um algoritmo que simplifica significativamente os métodos SSL existentes. FixMatch primeiro usa as previsões do modelo em imagens não rotuladas fracamente aprimoradas para gerar pseudo-rótulos. Para uma determinada imagem, os pseudo-rótulos são mantidos apenas se o modelo produzir previsões de alta confiança. O modelo é então treinado para prever pseudo-rótulos em versões fortemente aumentadas da mesma imagem. Apesar de sua simplicidade, mostramos que o FixMatch alcança desempenho de última geração em uma variedade de benchmarks de aprendizado semissupervisionado padrão, incluindo 94,93% de precisão em CIFAR-10 com 250 rótulos e 88,61% com 40 rótulos Precisão – apenas 4 rótulos por aula. Realizamos extensos estudos de ablação para distinguir os fatores experimentais mais importantes para o sucesso do FixMatch.
Método
Este artigo é um artigo semi-supervisionado muito clássico, que é realmente simples e eficaz. Especificamente, ele usa duas ideias principais de semi-supervisão, Regularização de Consistência e Pseudo-rotulagem. A primeira refere-se a encontrar maneiras de construir diferentes entradas de uma mesma amostra, mantendo a consistência da saída, para que o modelo possa aprender o essencial características da amostra; este último refere-se à seleção de pseudo-rótulos de alta confiança para o autotreinamento. As definições formais desses dois métodos são fornecidas aqui:
- Regularização de consistência：O modelo deve produzir previsões semelhantes quando alimentado com versões perturbadas da mesma imagem.
- Pseudo-Labeling：O próprio modelo para obter rótulos artificiais para dados não rotulados.
Especificamente, o processo deste artigo é o seguinte:
Agora temos um modelo treinado. Para uma amostra não rotulada, execute um aumento simples de dados fracos (semelhante à rotação comumente usada no treinamento) para obter um resultado de previsão. De acordo com a ideia de Pseudo-Labeling, se a probabilidade do resultado máximo do softmax exceder nosso limite determinado, consideramos a previsão do resultado correta e a tratamos como um pseudo-label; ao
mesmo tempo, também realizamos uma O aprimoramento de dados forte (mudanças dramáticas na aparência da imagem sem destruir as características essenciais da amostra) também pode gerar uma previsão. Queremos que o resultado seja o mesmo que o pseudo rótulo.
O processo deste artigo terminou agora. Pode-se ver que é muito simples. O ponto central é usar um forte aprimoramento de dados para fazer consistência. Ou seja, se a amostra pode ser consistente com o resultado sob realce fraco após realce forte, isso significa que o modelo aprendeu as "características essenciais" da amostra, o que pode não apenas aumentar a capacidade do modelo de extrair características comuns, mas também O modelo de mitigação fica apenas nas características superficiais das amostras de aprendizagem, ou é perturbado pelos rótulos falsos com ruído.