En muchos casos, debido a la limitación de los datos actuales o la sensibilidad de los datos, los datos obtenidos son muy pequeños. Para el caso de muy pocos datos de entrenamiento, se pueden considerar los siguientes métodos
-
Transferencia de aprendizaje
Al usar modelos previamente entrenados que fueron entrenados previamente en grandes conjuntos de datos, podemos usar directamente la estructura y los pesos correspondientes para aplicarlos al problema actual. El modelo pre-entrenado puede no usar el mismo tipo de datos . Esto se llama "aprendizaje de transferencia", que es "transferir" el modelo pre-entrenado a nuestro problema. Por ejemplo, hemos aprendido a jugar baloncesto y ahora queremos aprender a jugar voleibol, luego aprenderemos las habilidades y la experiencia obtenidas al jugar baloncesto. Pasar a jugar voleibol. -
Extracción de características + fusión de características + xgboost
Cuando hay pocos conjuntos de datos, puede considerar usar un modelo previamente entrenado para la extracción de características (sin ningún tipo de entrenamiento), y usar las características extraídas como entrada para xgboost (xgboost es un modelo de árbol de elevación, que Muchos modelos de árbol se integran entre sí para formar un clasificador fuerte, que tiene una gran ventaja al tratar con datos desequilibrados o evitar el sobreajuste y procesar características de alta dimensión. También se pueden usar otros clasificadores aquí. El efecto será mejor que usar la migración directamente. Estudia mejor.
Después de usar la extracción de características, se puede adoptar una estrategia de fusión de características. Una comprensión simple es unir varias características y ponerlas en XGBoost
Por qué este método es mejor que el aprendizaje por transferencia directa
Motivos:
1) Un pequeño número de conjuntos de datos facilita el sobreajuste del modelo en el aprendizaje por
transferencia.En el aprendizaje por transferencia, debido al premodelo creado por la gran cantidad de datos utilizados directamente en el pasado, puede abarcar muchos otros Características, por lo tanto, cuando se usa el aprendizaje de transferencia directamente, algunas características que no son obvias en los datos también se amplifican en el aprendizaje de transferencia, de modo que dichas características también se extraen, lo que resulta en un ajuste excesivo del modelo.
2) Un pequeño número de conjuntos de datos hacen que el modelo sea cierto Un valor mínimo local, de modo que la capacidad del modelo para extraer características no es tan buena como la capacidad del modelo Pre-entrenado que ha sido depurado en gran medida.
-
Mejora de
datos Para los métodos de mejora de datos, generalmente puede invertir, rotar, aumentar el contraste, cortar y ampliar, etc., de modo que se pueda derivar una imagen de entrenamiento de varias imágenes, aumentando así los datos de la muestra. Sin embargo, también hay desventajas, es decir, después de que se mejoran los datos, es probable que introduzca ruido o datos completamente incorrectos -
Conocimiento trascendental El conocimiento
trascendental es también un tipo de aprendizaje de transferencia, que transfiere los pesos aprendidos por otros modelos a su propio modelo, y el conocimiento trascendental es agregar nuestro conocimiento humano al modelado, más como Es una forma de guiar el aprendizaje modelo
Referencias:
https://zhuanlan.zhihu.com/p/50547038
