Em muitos casos, devido à limitação dos dados atuais ou à sensibilidade dos dados, os dados obtidos são muito pequenos.Para o caso de poucos dados de treinamento, os seguintes métodos podem ser considerados
-
Transferência de aprendizado
Usando modelos pré-treinados que foram treinados anteriormente em grandes conjuntos de dados, podemos usar diretamente a estrutura e os pesos correspondentes para aplicá-los ao problema atual. O modelo pré-treinado pode não usar o mesmo tipo de dados . Isso é chamado de "transferência de aprendizado", que é "transferir" o modelo pré-treinado para o nosso problema. Por exemplo, aprendemos a jogar basquete e agora queremos aprender a jogar vôlei, então aprenderemos as habilidades e a experiência adquirida ao jogar basquete. Vá para jogar vôlei. -
Extração de recursos + fusão de recursos + xgboost
Quando há poucos conjuntos de dados, você pode considerar o uso de um modelo pré-treinado para extração de recursos (sem nenhum treinamento) e usar os recursos extraídos como entrada xgboost (xgboost é um modelo de árvore de elevação, que será Muitos modelos de árvore são integrados para formar um classificador forte, que possui uma grande vantagem em lidar com dados desequilibrados ou impedir o sobreajuste e no processamento de recursos de alta dimensão.Outros classificadores também podem ser usados aqui. Estude melhor.
Depois que a extração de recursos é usada, uma estratégia de fusão de recursos pode ser adotada.Um entendimento simples é juntar vários recursos e colocá-los no XGBoost
Por que esse método é melhor do que o aprendizado direto por transferência
Razões:
1) Um pequeno número de conjuntos de dados facilita o super ajuste do modelo no aprendizado
por transferência.No aprendizado por transferência, devido ao pré-modelo produzido pela grande quantidade de dados usados diretamente no passado, ele pode abranger muitos outros Recursos, portanto, ao usar o aprendizado de transferência diretamente, alguns recursos que não são óbvios nos dados também são amplificados no aprendizado de transferência, para que esses recursos também sejam extraídos, resultando em um ajuste excessivo do modelo.
2) Um pequeno número de conjuntos de dados torna o modelo em um determinado Um valor mínimo local, para que a capacidade do modelo de extrair recursos não seja tão boa quanto a capacidade do modelo PreTrained que foi fortemente depurado.
-
Aprimoramento de
dados Para métodos de aprimoramento de dados, geralmente é possível inverter, girar, aumentar o contraste, cortar e ampliar etc., para que uma imagem de treinamento possa ser derivada de várias imagens, aumentando assim os dados da amostra. No entanto, também existem desvantagens, ou seja, depois que os dados são aprimorados, é provável que você introduza ruído ou dados completamente errados. -
Conhecimento transcendental O conhecimento
transcendental também é um tipo de transferência de aprendizado, que transfere os pesos aprendidos por outros modelos para seu próprio modelo, e o conhecimento transcendental é adicionar nosso conhecimento humano à modelagem, mais como É uma maneira de orientar o aprendizado de modelos
Referências:
https://zhuanlan.zhihu.com/p/50547038
