Función de pérdida (Pérdida)

Si definimos un modelo de aprendizaje automático, como una red neuronal de tres capas, entonces debemos hacer que este modelo se ajuste lo más posible a los datos de entrenamiento proporcionados. Pero, ¿cómo evaluamos si el modelo se ajusta suficientemente bien a los datos? Luego es necesario utilizar los indicadores correspondientes para evaluar su grado de ajuste. La función utilizada se llama función de pérdida. Cuando el valor de la función de pérdida disminuye, pensamos que el modelo ha dado un paso más en el camino hacia el ajuste. El mejor ajuste del modelo final al conjunto de datos de entrenamiento es cuando el valor de la función de pérdida es el más pequeño, que es cuando el valor promedio de la función de pérdida es el más pequeño en el conjunto de datos especificado.

Función de pérdida de entropía cruzada (Cross Entropy)

En física, "entropía" se utiliza para describir el grado de desorden que presenta un sistema termodinámico. Shannon introdujo este concepto en el campo de la teoría de la información y propuso el concepto de "entropía de la información" para medir la incertidumbre de la información mediante una función logarítmica.

La entropía cruzada es un concepto importante en la teoría de la información, que se utiliza principalmente para medir la diferencia entre dos distribuciones de probabilidad. asumir $p$ y$q$ son datosxxDos distribuciones de probabilidad de$x$$q$ para representar$La\; entropía\; cruzada\; de\; p$ se puede calcular de la siguiente manera:$$H(pag,q)=-\underset{X}{}pag\left(x\right)iniciarsesiónq(x))$$ la entropía cruzada caracteriza la distancia entre dos distribuciones de probabilidad, con el objetivo de representar la distribución de probabilidad$q$ para expresar la distribución de probabilidadppEl grado de dificultad de$p\; .$No es difícil de entender según la fórmula: cuanto menor sea la entropía cruzada, las dos distribuciones de probabilidad$p$ y$q$ esta mas cerca.

Aquí todavía tomamos como ejemplo el problema de clasificación de tres categorías, suponiendo que los datos $x$ pertenece a la categoría 1. Recordar datos$La\; probabilidad\; de\; distribución\; de\; clases\; de\; x$ es$y$，显然$y=(1,0,0)$ representa datosxxLa probabilidad de distribución de clases real de$x\; .$Recuerda$y$Representa la probabilidad de distribución de clases predicha por el modelo.

Entonces para datos $Para\; x$ , su probabilidad de distribución de clases real$y$ y el modelo predijo la probabilidad de distribución de clases$y$La función de pérdida de entropía cruzada se define como:
$$entropíacruzada\_\_\_\_\_=-y\times iniciarsesión\left(y\right)$$

Obviamente, una buena red neuronal debe intentar garantizar que para cada dato de entrada, la brecha entre la probabilidad de distribución de categorías predicha por la red neuronal y la probabilidad de distribución de categorías real sea lo más pequeña posible, es decir, cuanto menor sea la entropía cruzada, mayor mejor. Por lo tanto, la entropía cruzada se puede utilizar como función de pérdida para entrenar redes neuronales.

La figura anterior ofrece un ejemplo de clasificación de tres categorías. Desde los datos de entrada $x$ pertenece a la categoría 1, por lo que su valor de distribución de probabilidad de categoría real es$y=(y_{},y_{},y_{})=(1,0,0)$ . Después de la transformación por la red neuronal, se obtienen$x$ relativo al valor mediano previsto de las tres categorías$(z_{},z_{},z_{})$ . Luego, a través del mapeo de funciones Softmax, se obtienenxxProbabilidad de distribución de clases de$x$$y=(y_{},y_{},y_{})$ . Según la introducción anterior,$y_{},y_{},y_{}$es un valor de probabilidad entre el rango (0,1). Debido a la muestra $x$ pertenece a la primera categoría, por lo que esperamos que la red neuronal prediga$y_{}$El valor debe ser mucho mayor que $y_{}$ 和 $y_{}$valor. Para obtener dicha red neuronal, se puede utilizar la siguiente función de pérdida de entropía cruzada para optimizar los parámetros del modelo durante el entrenamiento: $$entropíacruzada\_\_\_\_\_=-\left(y_{}\times iniciarsesión\left(y_{}\right)+y_{}\times iniciarsesión\left(y_{}\right)+y_{}\times iniciarsesión\left(y_{}\right)\right)$$ En la fórmula anterior,$y_{}$ 和 $y_{}$son todos 0, $y_{}$es 1, por lo que la función de pérdida de entropía cruzada se simplifica a: $$-y_{}\times iniciarsesión\left(y_{}\right)=-iniciarsesión\left(y_{}\right)$$ En el entrenamiento de redes neuronales, el error (es decir, la pérdida) entre la distribución de probabilidad de categoría real de los datos de entrada y la distribución de probabilidad de categoría predicha por el modelo se transfiere desde el extremo de salida al extremo de entrada para optimizar los parámetros del modelo. La siguiente es una breve introducción al error calculado en función de la entropía cruzada de$y_{}$pasado a $z_{}$suma $z_{}$（$z_{}$La derivación de y $z_{}$相同）的情况。$$\frac{\partial y_{}}{\partial z_{}}=\frac{\partial (\frac{{mi}^{z_{}}}{{\sum }_{}{mi}^{z_{}}}}{\partial z_{}}=\frac{{\left({mi}^{z_{}}\right)}^{{}^{\prime }}\times {\sum }_{}{mi}^{z_{}}-{mi}^{z_{}}\times {mi}^{z_{}}}{{\left({\sum }_{}{mi}^{z_{}}\right)}^2}=\frac{{mi}^{z_{}}}{{\sum }_{}{mi}^{z_{}}}-\frac{{mi}^{z_{}}}{{\sum }_{}{mi}^{z_{}}}\times \frac{{mi}^{z_{}}}{{\sum }_{}{mi}^{z_{}}}=y_{}\left(1-y_{}\right)$$ debido a la función de pérdida de entropía cruzada$-iniciarsesión\left(y_{}\right)$ 对 $y_{}$El resultado de la derivación es $-\frac{}{y_{}}$，$y_{}\left(1-y_{}\right)$ 与 $-\frac{}{y_{}}$El resultado de la multiplicación es $y_{}-1Esto$ muestra que una vez que se obtiene la salida de predicción del modelo$y_{}$, restar 1 de esta salida es la función de pérdida cruzada relativa a $z_{}$的偏导结果。$$\frac{\partial y_{}}{\partial z_{}}=\frac{\partial (\frac{{mi}^{z_{}}}{{\sum }_{}{mi}^{z_{}}}}{\partial z_{}}=\frac{0\times {\sum }_{}{mi}^{z_{}}-{mi}^{z_{}}\times {mi}^{z_{}}}{{\left({\sum }_{}{mi}^{z_{}}\right)}^2}=-\frac{{mi}^{z_{}}}{{\sum }_{}{mi}^{z_{}}}\times \frac{{mi}^{z_{}}}{{\sum }_{}{mi}^{z_{}}}=-y_{}{y}_{}$$De la misma manera, la derivada de la función de pérdida de entropía cruzada es $-\frac{}{y_{}}$，$-y_{}{y}_{}$ 与 $-\frac{}{y_{}}$El resultado de la multiplicación es $y_{}$. Esto significa que para nodos distintos del primer nodo de salida se realizan derivadas parciales. Después de obtener la salida de predicción del modelo, siempre que se guarde, es el resultado de la derivada parcial de la función de pérdida cruzada en relación con otros nodos. en $z_{}$、$z_{}$suma $z_{}$Después de obtener el resultado de la derivada parcial, el error de pérdida se puede transferir al extremo de entrada mediante la regla de la cadena (que se describe más adelante).

En el ejemplo anterior, supongamos que los valores intermedios predichos $(z_{},z_{},z_{})$ después del mapeo Softmax, el resultado es$(\mathrm{0,34},\mathrm{0,46},\mathrm{0,20})$ . Dado que los datos de entrada$x$ pertenece a la primera categoría. Obviamente, este resultado no es ideal y es necesario optimizar los parámetros del modelo. Si se elige la función de pérdida de entropía cruzada para optimizar el modelo, entonces$(z_{},z_{},z_{})$ El valor de la derivada parcial de esta capa es$(\mathrm{0,34}-1,\mathrm{0,46},\mathrm{0,20})=(-0,66,\_\mathrm{0,46},\mathrm{0,20})$。

Se puede ver que la combinación de Softmax y las funciones de pérdida de entropía cruzada brinda una gran conveniencia para los cálculos de derivadas parciales. El cálculo de la derivada parcial hace que el error de pérdida se transfiera desde el extremo de salida al extremo de entrada para optimizar los parámetros del modelo. Aquí, la entropía cruzada se combina con la función Softmax, por lo que también se denomina pérdida Softmax (Softmax con pérdida de entropía cruzada).

Error cuadrático medio (MSE)

La pérdida por error cuadrático medio también se denomina pérdida cuadrática y pérdida L2, y se utiliza a menudo en tareas de predicción de regresión. La función de error cuadrático medio mide la calidad de un modelo calculando el cuadrado de la distancia (es decir, el error) entre el valor predicho y el valor real. Es decir, cuanto más cerca esté el valor predicho del valor real, menor será el error cuadrático medio entre los dos.

Supongamos que hay $n$ datos de entrenamiento$X_{}$, cada dato de entrenamiento $X_{}$La salida real de es $y_{}$，Modelo 对$X_{}$El valor predicho es $y_{}$. El modelo está en nn.La pérdida de error cuadrático medio generada bajo$n$$$MSE=\frac{}{norte}\sum _{yo=1}{\left(y_{}-y_{}\right)}^2$$ Suponga que el valor objetivo real es 100 y el valor previsto está entre -10000 y 10000. Dibuje la curva de la función MSE como se muestra en la siguiente figura. Se puede ver que cuando el valor previsto se acerca a 100, el valor de pérdida de MSE es menor. La pérdida de MSE varía de 0 a$\infty$。