Notas de aprendizaje automático (4) Generalización del modelo, sobreajuste y ajuste insuficiente, regularización L1, regularización L2

1. Overfitting y underfitting

• 
  El modelo entrenado por el algoritmo de ajuste insuficiente no puede expresar completamente la relación de datos
  

• El modelo entrenado por el algoritmo de sobreajuste de sobreajuste
  expresa demasiada relación de ruido entre los datos
  

2. Curva de aprendizaje

Curva de aprendizaje: tome el número de muestras de entrenamiento como la abscisa, y tome el puntaje promedio y el intervalo de puntaje del modelo en las muestras de entrenamiento y las muestras de validación cruzada como la ordenada, y la curva dibujada es la curva de aprendizaje.

• 
  El entrenamiento y la prueba de la curva de aprendizaje insuficiente finalmente se estabilizaron en una posición más grande
  
• La mejor curva de aprendizaje
  entrena y prueba finalmente estabilizada en una posición pequeña
  
• 
  Entrenamiento y prueba de la curva de aprendizaje de sobreajuste La desviación final de la posición estable es grande
  

3. División de datos

• Conjunto de entrenamiento
  El conjunto de datos utilizado para entrenar los parámetros internos del modelo Classfier se ajusta directamente de acuerdo con el conjunto de entrenamiento para obtener mejores resultados de clasificación.

• El conjunto de verificación
  se utiliza para probar el estado y la convergencia del modelo durante el proceso de entrenamiento. El conjunto de validación generalmente se usa para ajustar hiperparámetros, y se determina qué conjunto de hiperparámetros tiene el mejor rendimiento en función del rendimiento de varios conjuntos de modelos en el conjunto de validación.
  Al mismo tiempo, el conjunto de verificación también se puede usar para monitorear si el modelo se está sobreajustando durante el proceso de entrenamiento. En términos generales, después de que el rendimiento del conjunto de verificación sea estable, si continúa entrenando, el rendimiento del conjunto de entrenamiento seguirá aumentando, pero el conjunto de verificación no aumentará sino que disminuirá, por lo que generalmente se produce un sobreajuste.

• Conjunto de prueba
  El conjunto de prueba se usa para evaluar la capacidad de generalización del modelo, es decir, el modelo anterior usa el conjunto de verificación para determinar los hiperparámetros, usa el conjunto de entrenamiento para ajustar los parámetros y finalmente usa un conjunto de datos que nunca ha sido visto para juzgar si el modelo está funcionando.

• La diferencia entre las tres
  imágenes es que el conjunto de entrenamiento es como el libro de texto de un estudiante. Los estudiantes dominan el conocimiento basado en el contenido del libro de texto. El conjunto de verificación es como la tarea. A través de la tarea, puede conocer la situación de aprendizaje de diferentes estudiantes y el velocidad de progreso La prueba final El conjunto es como un examen. Las preguntas en el examen nunca se han visto antes, y se prueba la capacidad de los estudiantes para sacar inferencias de una instancia.

• ¿Por qué necesitamos un conjunto de prueba?
  El conjunto de entrenamiento participa directamente en el proceso de ajuste del modelo, y obviamente no puede usarse para reflejar la verdadera capacidad del modelo. De esta manera, algunos estudiantes que memorizan libros de texto de memoria (sobreajuste) tendrán las mejores notas, lo que obviamente está mal. De la misma manera, dado que el conjunto de verificación participa en el proceso de ajuste manual (hiperparámetros), no puede usarse para juzgar un modelo al final, al igual que los estudiantes que rozan el banco de preguntas no pueden ser considerados buenos estudiantes, ¿verdad? Por lo tanto, es necesario aprobar el examen final (conjunto de pruebas) para examinar la capacidad real de un estudiante (modelo) estudiante (tipo).

Sin embargo, obviamente no es razonable juzgar la calidad del modelo por una sola prueba, por lo que el método de validación cruzada se presentará a continuación.

4. Validación cruzada

La llamada validación cruzada es seleccionar una cierta proporción de datos como muestras de entrenamiento y otras muestras como muestras reservadas. Ahora obtenga la ecuación de regresión en las muestras de entrenamiento y luego haga predicciones sobre las muestras reservadas. Dado que la muestra reservada no implica la elección de los parámetros del modelo, puede obtener estimaciones más precisas que los nuevos datos.

1. Validación cruzada de k-pliegues
   Divida el conjunto de datos de entrenamiento en k partes, lo que se denomina validación cruzada de k-pliegues.La desventaja es que se entrenan cada k modelos, lo que equivale a un rendimiento general k veces más lento.
2. El método Leave-One LOO-CV
   divide el conjunto de datos de entrenamiento en m puntos, lo que se denomina Validación cruzada Leave-One- Out
   .
   : La mayor cantidad de cálculo

5. Compensación de la varianza del sesgo

• El sesgo
  describe la diferencia entre el valor esperado del valor predicho y el valor real. Cuanto mayor sea la desviación, más se desvía de los datos reales, como se muestra en la segunda fila de la figura a continuación.
  Causa principal del sesgo: suposiciones incorrectas sobre el problema en sí. Tome una castaña: la regresión lineal se usa para datos no lineales, que generalmente se comportan como subajustes.
• La varianza
  describe el rango de variación del valor predicho, el grado de dispersión, es decir, la distancia desde el valor esperado. Cuanto mayor sea la varianza, más dispersa será la distribución de datos, como se muestra en la columna derecha de la siguiente figura. Una pequeña perturbación de los datos puede afectar en gran medida al modelo. Por lo general, el modelo utilizado es demasiado complejo. Como la regresión polinomial de alto orden, generalmente manifestada como sobreajuste.
  

Hay algunos algoritmos que son inherentemente algoritmos de alta varianza. Como kNN. El aprendizaje no paramétrico suele ser un algoritmo de alta varianza. Porque no se hacen suposiciones sobre los datos. Hay algunos algoritmos que son inherentemente algoritmos de alto sesgo. Como la regresión lineal. El aprendizaje de parámetros suele ser un algoritmo de alto sesgo. Debido a suposiciones extremadamente fuertes sobre los datos. La mayoría de los algoritmos tienen parámetros correspondientes que pueden ajustar el sesgo y la varianza, como k en kNN. El sesgo y la varianza son a menudo contradictorios. La disminución del sesgo aumenta la varianza. Disminuir la varianza aumenta el sesgo. ¡El principal desafío del aprendizaje automático proviene de la variación! Medios comunes para lidiar con una alta varianza:

1. Reducir la complejidad del modelo
2. Reduzca la dimensionalidad de los datos; elimine el ruido
3. Aumentar el número de muestras
4. Usar el conjunto de validación
5. Regularización de modelos

6. Modelo de regularización Regularización

En términos simples, la regularización es un comportamiento para reducir el error de prueba. Cuando construimos un modelo de aprendizaje automático, el objetivo final es hacer que el modelo funcione bien cuando se enfrenta a nuevos datos. Cuando utiliza un modelo más complejo, como una red neuronal para ajustar los datos, es fácil sobreajustarlo (el conjunto de entrenamiento funciona bien y el conjunto de prueba funciona mal), lo que conducirá a una disminución en la capacidad de generalización del modelo. En este momento, necesitamos usar la regularización para reducir la complejidad del modelo. En regresión lineal si el parámetro $Si\; \theta$ es demasiado grande y hay demasiadas características, fácilmente se producirá un sobreajuste, como se muestra en la siguiente figura:

6.1 Regularización

La aparición de la regresión de cresta y la regresión de Lasso es para resolver el problema del ajuste excesivo y lograr el objetivo mediante la introducción de elementos de regularización en la función de pérdida. En las tareas diarias de aprendizaje automático, la regresión de cresta se usó por primera vez para tratar el caso de una gran cantidad de características y muestras, y ahora también se usa para agregar sesgo a la estimación para obtener una mejor estimación. Aquí al introducir $\lambda$ limita todo$i^2$ , mediante la introducción de este término de penalización, puede reducir parámetros sin importancia.Esta técnica se denomina reducción en estadística. Similar a la regresión de cresta, otro LASSO reducido también agrega un término regular para limitar los coeficientes.
Para evitar el sobreajuste ($\theta$ es demasiado grande), en la función objetivo$J\left(\theta \right)$ va seguido de un factor de penalización por complejidad, es decir, un término regular para evitar el sobreajuste. El término regular puede usar$L_{1-nor}\left(LASSORegresion\right)、$ L 2 − norm ( R idge R egression ) L_{2-norm}(Ridge Regression)$L_{2-nor}\left(RidgeRegression\right)$ , o combinado con$L_{1-nor}$、$L_{2-nor}(Elástico\_\_\_\_\_\_Neto)\_\_$

6.2 Regresión de cresta

$$J(\theta ,segundo)=J(\theta ,segundo)+yo\frac{}{2}\sum _{yo=1}{i}_i^{}$$

6.3, Regresión LASSO

$$J(\theta ,segundo)=J(\theta ,segundo)+yo\sum _{yo=1}norte|{\theta }_{}|$$

6.4, Regularización L1, regularización L2 y red elástica Red Elástica

• norma L1 y L2

Primero introduzca la definición de la norma, asumiendo $x$ es un vector cuyo$L^{}$Definición de norma${}^p$
$$||x|{|}_{}=(\underset{i}{})|x_{}{|}^{pag}{)}^{\frac{}{pag}}$$
Agregar un " elemento de penalización " de un coeficiente después de la función objetivo es una forma común de regularización, para evitar que el coeficiente sea demasiado grande y complique el modelo. La función objetivo después de agregar el término de regularización es:
$$J(\theta ,segundo)=J(\theta ,segundo)+\frac{}{2metros}\Omega \left(\theta \right)$$
式中，$\frac{}{2metros}$es una constante, $m$ es el número de muestras,$\lambda$ es un hiperparámetro utilizado para controlar el grado de regularización.

• Regularización L1 (LASSO)

$L^1$ regularización, la sanción correspondiente es$L1$范数：
$$\Omega \left(\theta \right)=||\theta |{|}_{}=\underset{i}{}|{\theta }_{}|$$

• Regularización L2 (Ridge)

$L^2$ Al regularizar, el término de penalización correspondiente es$L2$范数：
$$\Omega \left(\theta \right)=||\theta |{|}_2^{}=\underset{i}{}{i}_i^{}$$

• Red Elástica Red Elástica

El término de penalización correspondiente es $L1$ norma y$L2Especifique$ la ecuación:
$$J(\theta ,segundo)=J(\theta ,segundo)+yo(r\sum _j|{\theta }_{}|+(1-r\left)\sum _j{i}_j^{}\right)$$

• La diferencia entre la regularización L1 y la regularización L2

De la fórmula anterior se puede ver que $L^1$ La regularizaciónlogra la regularización sumando la función objetivo original ala suma de los valores absolutos de todos los coeficientes característicos$L^2$ La regularización realizala regularizaciónla suma de los cuadrados de todos los coeficientes característicos
Ambos limitan el tamaño del parámetro al agregar un término de suma, pero tienen efectos diferentes:$L^1$ regularización es más adecuada parala selección de características, y$L^2$ La regularización es más adecuada paraevitar el sobreajuste del modelo.
Comencemos desde la perspectiva del descenso de gradiente y exploremos la diferencia entre los dos.
Para facilitar la descripción, se supone que los datos tienen solo dos características, a saber,$i_{}$ $i_{}$, considerando $L^1$ La función objetivo de regularización es:
$$j=j+\frac{}{2metros}(|{\theta }_{}|+|{\theta }_{}|)$$
En cada actualización$i_{}$Sea:
θ 1 : = θ 1 − α re θ 1 = θ 1 − α λ 2 msign ( θ 1 ) − ∂ J ∂ θ 1 sign ( x ) = { 1 , x > 0 0 , x = 0 − 1 , x < 0 \theta_1 :=\theta_1-\alpha d\theta_1=\theta_1-\frac{\alpha\lambda}{2m}sign(\theta_1)-\frac{\parcial J}{\parcial\theta_1}\ signo qquad(x)=\left\{ \begin{alineado} &&1,x>0\\ &&0,x=0\\ &&-1,x<0 \end{alineado} \right.i1:=i1−un día yo1=i1−2 metrosun lsigno yo gramo norte ( θ1)−∂ θ1∂ Jfirmar ( x ) _ _ _=⎩⎪⎨⎪⎧​​1 ,X>00 ,X=0- 1 ,X<0
Joven $i_{}$es un número positivo, cada actualización restará una constante; si $i_{}$Si es un número negativo, se agregará una constante a cada actualización. Todos los casos en los que el coeficiente de la característica es 0 son fáciles de ocurrir. Un coeficiente especial de 0 significa que el especial no tendrá ningún impacto en el resultado. entonces $L^1$ La regularización hará que las características sean escasas y desempeñará un papel en la selección de características.
Ahora considere$L^2$ Función objetivo regularizada:
$$j=j+\frac{}{2metros}({yo}_1^{}+i_2^{})$$
en cada actualización$i_{}$Dimensiones:
$$i_{}:=i_{}-undía{yo}_{}=(1-\frac{un}{metro}){yo}_{}-\frac{\partial }{\partial {\theta }_{}}$$
De la fórmula anterior, se puede ver que cada vez que se realiza una actualización, el coeficiente de características se escalará proporcionalmente en lugar de como $L^1$ regularización menos un valor fijo, lo que hará que un coeficiente tienda a ser más pequeño y no a 0, por lo que$L^2$ La regularización simplificará el modelo, evitará el sobreajuste y no jugará un papel en la selección de características. Lo anterior es$L^1$ ,$L^2$ El papel y la diferencia de la regularización.

Comprensión simple de la regularización :
1. El propósito de la regularización: evitar el sobreajuste
2. La esencia de la regularización: restringir (restringir) los parámetros que se optimizarán
Con respecto al primer punto, el valor del sobreajuste se da con un conjunto de datos, este conjunto El los datos son ruidosos. Usar el modelo para ajustar esta pila de datos también puede ajustarse a los datos ruidosos. Esto es fatal. Por un lado, hará que el modelo sea más complicado. Por otro lado, el rendimiento de generalización del modelo es demasiado pobre Cuando encuentra nuevos datos para probar, el modelo de sobreajuste que obtiene tiene una tasa de precisión baja.
Con respecto al segundo punto, el espacio de solución original es el área completa, pero se agregan algunas restricciones a través de la regularización, lo que hace que el espacio de solución sea más pequeño, e incluso la solución se vuelve escasa bajo los métodos de regularización individuales.

El lado izquierdo de la figura anterior es la regresión de Lasso y el lado derecho es la regresión de Ridge. El punto de tangencia entre la elipse roja y el área azul es la solución óptima de la función objetivo, si es un círculo, es fácil de cortar a cualquier punto de la circunferencia, pero es difícil de cortar al eje de coordenadas, por lo que no hay escasez, pero si es un rombo o polígonos, es fácil de cortar al eje de coordenadas, por lo que es fácil dar como resultado parámetros dispersos. Esto también explica por qué $L_{}$Los paradigmas serán escasos. Esto explica por qué lasso puede realizar una selección de características. Aunque la regresión de cresta no puede realizar la selección de características, cuando es para $El\; módulo\; de\; \theta$ está restringido para que su valor sea relativamente pequeño, lo que reduce en gran medida el problema del sobreajuste.
Aquí$b_{},{segundo}_{}$Todos son parámetros del modelo. Los parámetros objetivo que se van a optimizar, el área azul, es en realidad el espacio de la solución. Como se mencionó anteriormente, en este momento, el espacio de la solución está "reducido". El β 1 más pequeño de la función objetivo $b_{},{segundo}_{}$. Mire el círculo rojo nuevamente, este eje de coordenadas no tiene nada que ver con las características (datos), es completamente un sistema de coordenadas de parámetros, en cada círculo, puede tomar innumerables β 1 , β 2 \beta_1, \ $b_{},{segundo}_{}$, este $b_{},{segundo}_{}$Tiene como característica común que las funciones objetivo calculadas con ellas valen lo mismo. El centro del círculo es el parámetro óptimo real, pero debido a que nuestro equipo ha limitado el espacio de solución, la solución óptima solo se puede generar en el espacio de solución "reducido".
Tome dos variables como ejemplo para explicar el significado geométrico de la regresión de cresta:

1. Cuando no hay restricciones. Parámetros del modelo $b_{},{segundo}_{}$, se ha normalizado. La suma residual de cuadrados RSS se puede expresar como $b_{},{segundo}_{}$, una función cuadrática que se puede expresar matemáticamente como un paraboloide.
   
2. Cresta regresa. El término de restricción es $b_1^{}+b_2^{}\le t$ , corresponde a un círculo en el plano de proyección β1, β2, que es el cilindro de la figura siguiente.
   
   Se puede ver que hay una cierta distancia entre la solución de regresión de cresta y la solución original de mínimos cuadrados.

Referencia:
https://zhuanlan.zhihu.com/p/35394638
https://www.zhihu.com/question/20448464
https://www.jianshu.com/p/569efedf6985
https://www.jianshu.com /p/569efedf6985
https://www.biaodianfu.com/ridge-lasso-elasticnet.html