Autor: Zen e a arte da programação de computadores
1. Introdução
No domínio da IA, a atualização dos modelos de aprendizagem automática é muitas vezes acompanhada de redução de custos, e a velocidade de atualização do modelo também afetará a precisão, robustez, praticidade e outros indicadores dos resultados finais. Métodos tradicionais, como descida gradiente estocástica (SGD) e outros algoritmos de otimização, só podem treinar todo o modelo a partir do zero, o que requer uma grande quantidade de cálculos, é demorado e trabalhoso e não conduz a uma iteração rápida. Portanto, é necessário encontrar uma maneira de convergir e atualizar rapidamente o modelo. Aprendizagem Incremental (Aprendizagem Incremental), isto é, retreinar ou ajustar modelos existentes apenas em novas amostras, pode reduzir significativamente o tempo de treinamento e melhorar os efeitos do modelo.É uma das direções de pesquisa populares em aprendizado de máquina. No ambiente atual, muitas empresas estão buscando a implantação de modelos em ambientes de produção, por isso esperam descobrir e resolver problemas de negócios o mais cedo possível e atingir os objetivos de negócios. Portanto, como aplicar efetivamente a tecnologia de aprendizagem incremental para permitir que o modelo evolua iterativamente de forma rápida e confiável no ambiente de produção é de grande importância. O autor deste artigo espera que, ao ler e compreender as teorias, métodos, algoritmos e práticas de engenharia relacionadas relevantes envolvidas neste artigo, ele possa ser útil para a maioria dos entusiastas de IA, pesquisadores, desenvolvedores e empresas de Internet.
2. Introdução ao contexto
Aprendizagem incremental (aprendizagem incremental) é definida como "em certas tarefas, usando apenas parte dos dados, e usando esta parte dos dados para atualizar ou ajustar o modelo pré-treinado", o que pode acelerar a velocidade de convergência do modelo , reduza o consumo de recursos computacionais e melhore o efeito do modelo. Então, o que são dados parciais? Como devemos definir dados parciais? Conforme mostrado na figura abaixo: De modo geral, a aprendizagem incremental geralmente pode ser usada para tarefas de aprendizagem supervisionada (Aprendizagem Supervisionada), tarefas de aprendizagem semissupervisionadas (Aprendizagem Semissupervisionada) e tarefas de aprendizagem não supervisionadas (Aprendizagem Não Supervisionada). Uma estrutura típica de aprendizagem incremental é fornecida abaixo: Figura