Sobreajuste:
Se desempeña mejor en el conjunto de entrenamiento y peor en el conjunto de pruebas de validación. La precisión es menor.
En el aprendizaje automático, el sobreajuste hace que el margen de predicción de un modelo sea incorrecto, generalmente cuando el modelo es demasiado complejo.
Se dice que un modelo está sobreajustado si se centra demasiado en datos de entrenamiento específicos y no entiende el punto.
Cómo prevenir el sobreajuste:
1: Validación cruzada (validación K-fold)
Dividir los datos en K partes
La validación cruzada permite ajustar los hiperparámetros y el rendimiento es el promedio de todos los valores. Este método es más costoso desde el punto de vista computacional, pero no desperdicia demasiados datos.
Agregar datos de entrenamiento
Entrenar el modelo con datos más relevantes ayuda a identificar mejor las señales y evitar el ruido como interferencia de la señal.
Al mismo tiempo, también se pueden utilizar métodos de mejora de datos: volteo, traducción, rotación, escalado, HSV, transformación de perspectiva, etc.
Eliminar características
Reduzca la complejidad del modelo eliminando capas o reduciendo el número de neuronas.
Regularización
La regularización se puede utilizar para reducir la complejidad del modelo. Esto se hace mediante una función de pérdida de penalización, con dos métodos de regularización L1 y L2.
Regularización L1: la suma de los valores absolutos de los pesos de penalización
Regularización L2: penaliza la suma de cuadrados de valores de peso
deopout
El abandono es un método de regularización que se utiliza para deshabilitar aleatoriamente unidades de redes neuronales. Se puede implementar en cualquier capa oculta o capa de entrada, pero no en la capa de salida. Este método elimina la dependencia de otras neuronas, lo que permite que la red aprenda correlaciones independientes. Este método puede reducir la densidad de la red,
Implementación sencilla
Falta de adaptación
Tanto el error de entrenamiento como el error de validación son grandes, lo que se denomina desajuste. El motivo del desajuste es que el modelo no ha aprendido la verdadera estructura de los datos. Por lo tanto, la simulación funciona mal tanto en el conjunto de entrenamiento como en el de validación.
Solución:
1. Realice ingeniería de funciones y agregue muchas funciones. Si el desajuste se debe a elementos de características insuficientes, no hay suficiente información para respaldar el juicio del modelo.
2. Incrementar la complejidad del modelo. Si el modelo es demasiado simple, no podrá manejar tareas complejas. Puede utilizar modelos más complejos y reducir el coeficiente de regularización. Específicamente, se pueden utilizar funciones del núcleo y métodos de aprendizaje por conjuntos.
3. El impulso de métodos de aprendizaje integrados (como GBDT) puede resolver eficazmente un alto sesgo