1. Resumo
O sucesso é, em parte, devido à profundidade da rede neural de dados de treinamento em grande escala bem marcadas. No entanto, com o crescimento do tamanho de coleta de dados moderno, rotulando o acesso à informação extremamente difícil. Este artigo propõe um estudo de profundidade incremental com base no método de auto-rotulagem semi-supervisionado gera confronto de estilo de rede, o método para facilitar o processo de formação através da distribuição de dados tag virtuais continuará a ser marcado. Especificamente, o processo de alocação de tag virtual, o documento apresenta um método baseado no tempo de auto-marcação. Então, a fim de alocar mais tags virtuais dinamicamente aos dados no processo de formação, o artigo adota rótulo atualização parcial triagem e abordagem por fases. Finalmente, o artigo introduz um novo fator de equilíbrio item (fator de equilíbrio Term, BT), perda de informações durante as amostras de treinamento de equilíbrio.
2. Introdução
Para a classificação semi-supervisionado contra a rede usando a fórmula (Gans), a maioria das redes são utilizadas para produzir saídas k modificando um discriminador convencional correspondente às classes de GAN k. Para utilizar ainda mais os dados de formação não marcados, tipicamente gerar uma secção adicional (k + 1) -ésima classe do gerador para melhorar a capacidade de identificar discriminador. Os últimos recursos podem extrair mais informações para distinguir os verdadeiros dados e dados falsos.
O papel dedicado a explorar a partir de um método de marcação incremental (a ISL -GaN), e incorporado em estrutura robusta SSL (SSL), a fim de melhorar o desempenho de classificação no campo do GAN.
3. Métodos
Em primeiro lugar, a precisão da previsão dos principais rótulos, a maioria dos dados de treinamento, incluindo dados de tags e dados não marcados, no processo de formação ter sido previsão correta. Para mais testar a robustez do modelo do marcador barulho, o jornal acrescentou alguns sinalizador de erro da amostra no treinamento do modelo, descobriu que uma certa percentagem de erro etiqueta afeta a precisão do teste final.
A seguir descreve o modelo de papel proposto. . Como mostrado na FIG 1, o modelo proposto é composto de duas partes: a primeira parte é baseado na consistência do modelo semi-GAN supervisionado. A segunda parte é responsável pela alocação de dados da etiqueta virtual não marcados, a época em intervalos regulares, atribuir uma etiqueta virtual para dados de alta confiabilidade para atualizar o conjunto de dados de treinamento marcados.
Conhecido para as diferentes fases da saída de amostras de treino da rede estável, de baixa probabilidade de erro de classificação, as amostras facilmente mal classificados frequentemente ocorre perto do bordo de classificação, que conduzirá inevitavelmente a instabilidade da saída da amostra. Com isto em mente, cada amostra de treinamento, a fim de manter um relativamente estável e seguro etiqueta virtual, selecione o papel calculado o número médio de saída histórica para garantir a estabilidade.
Tendo em conta a amostra final do estudo de rótulo alta taxa de dados corretamente previsto pelo caminho semi-supervisionado, o papel usando este método e definindo um conjunto de dados de etiquetas unlabeled virtuais para atualizar o conjunto de dados de treinamento. Se uma amostra não marcada foi atribuído várias vezes com um rótulo categoria, em seguida, colocar esse rótulo de classe como uma etiqueta virtual da amostra. Durante o treinamento, uma amostras não marcadas atribuir uma etiqueta virtual, pode efetivamente aumentar o número de amostra SSL rotulados, aumentando assim a precisão da classificação.
Aqui, precisamos definir um limite de credibilidade como uma etiqueta virtual amostra é atribuído. Este limite não pode ser muito baixa, não muito alto. Se for definido muito alto, dizer 100% de confiança, irá resultar em: Quando usamos esta parte do modelo de dados é atualizada quando o valor da perda calculado é 0, há mais atualizações para o modelo. Muito baixo, resultando em esta parte dos dados não pode ser confiável, e nós usá-lo para essa idéia é contrária aos dados de treinamento. Portanto, a fim de aumentar a contribuição de amostras marcadas virtuais foram equipados modelo de baixa perda, o papel vai equilibrar produto fator exp (BT) (PIN) para o original perda CE cruzada entropia, a perda final de supervisão por parte do seguinte representação fórmula (detalhado ver função perda modelo do papel original, aqui apenas o termo dado factor de equilíbrio introduzido pela fórmula referência):
PI indica a probabilidade da amostra pertencente a classe i, yi representativo de um valor codificado-quente da classe i. O parâmetro n é o controle sobre a perda de peso do factor de equilíbrio de peso, o padrão é de 2,0.
4. Conclusão
Os resultados experimentais mostram que o método pode ser obtido MNIST, os resultados do último SSL e SVHN Cifar-10 conjuntos de dados. Em particular, o modelo do papel nas condições de marcação de amostras de desempenho menos favorável. Para 1000 conjuntos de dados de imagem única marcadas Cifar-10 pode ser alcançada 11,2% de erro de medição, e de 1000 para 500 SVHN marcado conjunto de dados, pode atingir quase o mesmo erro de teste de desempenho de 3,5%.
