Evaluar el modelo de clasificación: Matriz de confusión e indicadores de evaluación.

Para un modelo de clasificación diseñado, se necesita una gran cantidad de conjuntos de datos para evaluar su desempeño, por lo que es muy importante comprender las métricas de evaluación.

El proceso específico para evaluar modelos de clasificación:

Matriz de confusión de clasificación uno y dos Matriz de confusión

Estrictamente hablando, para los problemas de clasificación binaria, no hay etiquetas, sólo ejemplos positivos y contraejemplos. La matriz de confusión para el problema de dos clasificaciones es la siguiente:

Fórmula de cálculo del índice de evaluación:

• $Precisión\_\_\_\_\_=\frac{TP+}{TP+TN+FP+FN}$
• $Precisión\_\_\_\_\_\_=\frac{}{TP+FP}$
• $Recordartodo\_\_=\frac{}{TP+FN}$
• $Q1\_-NúcleoS=\frac{}{\frac{}{Precisión\_\_\_\_\_\_}+\frac{}{Recordartodo\_\_}}=\frac{2\times Precisión\times Reca}{Precision+Recal}$
• $especificidad\_\_\_\_\_\_\_\_\_=\frac{}{FP+TN}$

Tomemos como ejemplo el problema de dos categorías de perros y gatos para analizar la matriz de confusión y sus indicadores de evaluación de la categoría de dos categorías:! [
Agregue una descripción de imagen] (https://img-blog.csdnimg.cn /8be2f9fec8d243e58689e969bbb75876.png#pic_center =500)

Como se muestra en la figura, en la clasificación de perros y gatos, el perro se utiliza como ejemplo positivo y el perro (gato) no se utiliza como contraejemplo. El lado superior es el valor previsto y el lado izquierdo es el valor real. La línea diagonal principal (roja) es el valor correcto previsto y la línea subdiagonal (verde) es el valor incorrecto previsto.

Supongamos que los gatos y los perros se clasifican de la siguiente manera:

en:

• $TP+FP$ es el número de perros en el conjunto de datos.
• $FP+TN$ es el número de gatos en el conjunto de datos.
• $TP+TN$ es el número de clasificaciones correctas del modelo.

1. Tasa de precisión

$$Precisión\_\_\_\_\_=\frac{}{Toda\; la\; información}=\frac{TP+}{TP+Tennesse+F+FN}$$

即，
$$Precisión\_\_\_\_\_=\frac{45+}{45+35+5+35}=\mathrm{0,8}$$

2. Tasa de precisión

¿Cuántos de los datos predichos como perros son perros reales
$$Precisión\_\_\_\_\_\_=\frac{}{Número\; previsto\; de\; perros}=\frac{}{TP+FP}$$
即，
$$precisión\_\_\_\_\_\_=\frac{}{45+15}=\mathrm{0,75}$$

3. Tasa de recuperación, tasa de recuperación, sensibilidad

¿Cuál es el verdadero número de perros detectados en los datos
$$Recordartodo\_\_=\frac{}{El\; número\; real\; de\; perros.}=\frac{}{TP+FN}$$
即，
$$Recordartodo\_\_=\frac{}{45+5}=\mathrm{0,9}$$

4、Puntuación F1

La puntuación F1 es la media armónica de precisión y recuperación, que refleja de manera integral la precisión y recuperación del clasificador. Es decir $Preciseno$或$Todoel\; registroes\; alto,pero$ F1-Score no es alto. (Se puede comparar con dos resistencias en paralelo, una con alta resistencia y otra con baja resistencia, pero el resultado aún es bajo)
$$Q1\_-NúcleoS=\frac{}{\frac{}{Precisión\_\_\_\_\_\_}+\frac{}{Recordartodo\_\_}}=\frac{2\times Precisión\_\_\_\_\_\_\times Recuérdalotodo\_}{Precisión\_\_\_\_\_\_+Recordartodo\_\_}$$
即，
$$Q1\_-NúcleoS=\frac{2\times \mathrm{0,75}\times }{\mathrm{0,75}+\mathrm{0,9}}=\mathrm{0,82}$$

5. Especificidad

¿Cuántos de los gatos verdaderos (ejemplos negativos) se seleccionan
$$especificidad\_\_\_\_\_\_\_\_\_=\frac{}{número\; real\; de\; gatos}=\frac{}{FP+Tennesse}$$
即，
$$especificidad\_\_\_\_\_\_\_\_\_=\frac{}{15+35}=\mathrm{0,7}$$

2. Matriz de confusión multiclase Clasificadores multiclase

La matriz de confusión de clases múltiples es muy similar a la clasificación de dos clases, excepto que al calcular la precisión, la recuperación, etc., es necesario calcularla por separado para cada clase.

Por ejemplo:

• $Precisión\_\_\_\_\_=\frac{15+12+}{15+2+3+6+12+4+22}=\mathrm{0,7656}$

• Bicicleta: $Precisión\_\_\_\_\_\_=\frac{}{15+6}=\mathrm{0,71}$，$Recuérdalotodo\_\_\_\_=\frac{}{15+2+3}=\mathrm{0,75}$

• Motocicleta: $Precisión\_\_\_\_\_\_=\frac{}{2+12+4}=\mathrm{0,66}$，$Recuérdalotodo\_\_\_\_=\frac{}{12+6}=\mathrm{0,66}$

• Coche: $Precisión\_\_\_\_\_\_=\frac{}{22+3}=\mathrm{0,88}$，$Recuérdalotodo\_\_\_\_=\frac{}{22+4}=\mathrm{0,85}$

• Ejemplo: $Precisión\_\_\_\_\_\_=\frac{\mathrm{0,71}+\mathrm{0,66}+}{3}=\mathrm{0,75}$，$Recordartodo\_\_=\frac{\mathrm{0,75}+\mathrm{0,66}+}{3}=\mathrm{0,75}$

• Puntuación F1: $Q1\_-NúcleoS=\frac{2\times Precison\times Reca}{Precisión\times Recal}=\frac{2\times \mathrm{0,75}\times }{\mathrm{0,75}+\mathrm{0,75}}=\mathrm{0,75}$

  La puntuación F1 de varias clases es el valor medio de la puntuación F1 para cada categoría.

En matrices de confusión de clases múltiples, la forma de mapa de calor es más común, como se muestra en la figura:

3. Curva ROC (Curva característica de funcionamiento del receptor) Curva característica de funcionamiento del receptor

FPR (tasa pseudopositiva): $FPR=\frac{}{FP+TN}$, es decir, la proporción de datos de clases negativas que se dividen en clases positivas

TPR (tasa de clase real): $TPR=\frac{}{TP+FN}$, es decir, la proporción de datos de clases positivas que se clasifican en clases positivas

1. Comprensión intuitiva de la curva ROC

La curva ROC se originó a partir del juicio de las señales de radar por parte de los soldados de radar durante la Segunda Guerra Mundial. La misión del soldado del radar es analizar la señal del radar, pero la señal del radar contiene ruido (como un pájaro grande), por lo que cada vez que aparece una señal en la pantalla del radar, el soldado del radar debe juzgarla. Algunos soldados del radar son más cautelosos (umbral bajo) y juzgan todas las señales como aviones enemigos; algunos soldados son más optimistas (umbral alto) y juzgan todas las señales como pájaros grandes. El siguiente es el resultado del juicio de un soldado de radar en un día:

en este momento:

• $TPR=\frac{}{TP+FN}=1$
• $FPR=\frac{}{FP+TN}=\mathrm{0,5}$

Para el sistema, esperamos que el TPR sea lo más alto posible, porque de esta manera se pueden detectar todos los aviones enemigos. Al mismo tiempo, esperamos que el FPR sea lo más bajo posible, porque esto puede reducir los errores de juicio, es decir, idealmente, $TPR=1$、$FPR=0$ . Sin embargo, para un sistema general, no se pueden tener ambas cosas: si se reduce el umbral de soldados, lo ideal es que todos los aviones enemigos sean juzgados, pero algunas aves inevitablemente serán juzgadas como aviones enemigos, lo que conducirá a TPR TPR.Alto$TPR$$El\; FPR$ también es alto; en consecuencia, si se aumenta el umbral de soldados, lo ideal es que todas las aves voladoras no sean juzgadas como aviones enemigos, pero algunos aviones enemigos inevitablemente serán juzgados como aves voladoras (esto causará un daño enorme a nuestros propios soldados). ) ), lo que resulta enFPR FPRTPR TPR$cuando\; el\; FPR$ es bajo$La\; TPR$ también es baja. Por lo tanto, en general, la curva ROC es una función proporcional creciente, y cuando$y=$por encima de la$curva\; x\; .$

2. Principio de dibujo de la curva ROC

Esta imagen está dibujada en http://www.navan.name/roc/ y se puede interactuar dinámicamente con ella en tiempo real. Los lectores pueden cambiar la configuración de la curva ROC mientras miran para profundizar su comprensión.

En la figura anterior, la curva azul representa ejemplos negativos, la roja representa ejemplos positivos y la línea vertical negra gruesa representa el umbral.

La parte superior izquierda y la superior derecha son desde la perspectiva del soldado (umbral), en este momento se determina el rendimiento del radar (clasificador). Es decir, la curva ROC es cierta y cambiar el umbral solo cambia el punto de coordenadas rojo en la curva ROC.

Como se muestra en la imagen de arriba a la izquierda: si el umbral se selecciona demasiado bajo, todos los ejemplos positivos se considerarán ejemplos positivos ( $TPR=1$ ), pero la mayoría de los ejemplos negativos también se juzgan como ejemplos positivos ($FPR$ está cerca de 1) En este momento, el punto de coordenadas en la curva ROC está en la esquina superior derecha.

Como se muestra en la imagen de la derecha: si el umbral se selecciona demasiado alto, todos los ejemplos negativos se considerarán ejemplos negativos ( $FPR=0$ ), pero la mayoría de los ejemplos positivos se juzgan como ejemplos negativos ($TPR$ está cerca de 0) y el punto de coordenadas en la curva ROC está en la esquina inferior izquierda.

Si el umbral se elige entre los ejemplos positivos y negativos, entonces $El$ valor de TPR es relativamente alto,$El\; valor\; de\; FPR$ es relativamente bajo, lo que es un estado relativamente ideal.

La parte inferior izquierda y la inferior derecha son desde la perspectiva del radar (clasificador).

Como se muestra en la imagen de abajo a la izquierda: si el rendimiento del clasificador es insuficiente, los ejemplos positivos y negativos se incluirán entre sí y la curva ROC se aproximará a $y=función\; x$ (es decir, cuánto aumenta FPR y cuánto disminuye TPR).

Como se muestra en la imagen de abajo a la derecha, si el clasificador funciona muy bien, los ejemplos positivos y negativos estarán ampliamente "separados" y la curva ROC estará más cerca de un ángulo recto. Idealmente, los ejemplos positivos y los ejemplos negativos están completamente separados. Si el umbral se selecciona adecuadamente, se logrará $TPR=1$、$FPR=0$ es la esquina superior izquierda del rectángulo de la curva ROC.

3. Curva AUC

AUC, (Área bajo la curva), es el área bajo la curva ROC. Obviamente, esta área es menor que 1, y debido a que la curva ROC generalmente está por encima de la línea y=x, el AUC generalmente está entre 0,5 y 1. El valor AUC puede cuantificar mejor el rendimiento del clasificador que la curva ROC.

El significado de AUC es, cuando se seleccionan aleatoriamente una muestra positiva y una muestra negativa, la probabilidad de que la muestra positiva se clasifique frente a la muestra negativa según la puntuación calculada por el clasificador actual.

Criterios para juzgar la calidad de un clasificador (modelo de predicción) de AUC:

• AUC = 1 es un clasificador perfecto. Cuando se utiliza este modelo de predicción, existe al menos un umbral que puede producir predicciones perfectas. En la mayoría de situaciones de predicción, no existe un clasificador perfecto.
• 0,5 < AUC < 1, mejor que adivinar al azar. Este clasificador (modelo) puede tener valor predictivo si el umbral se establece correctamente .
• AUC = 0,5, que es lo mismo que una conjetura aleatoria (por ejemplo: perder monedas de cobre), y el modelo no tiene valor predictivo.
• AUC < 0,5, que es peor que las conjeturas aleatorias; pero siempre que vaya siempre en contra de la predicción , es mejor que las conjeturas aleatorias.

4. Ventajas de la curva ROC

La curva ROC puede hacer frente al desequilibrio de muestras positivas y negativas.

La curva ROC tiene una muy buena característica: cuando cambia la distribución de muestras positivas y negativas en el conjunto de prueba, la curva ROC puede permanecer sin cambios. En los conjuntos de datos reales, a menudo ocurre un desequilibrio de clases, es decir, hay muchas más muestras negativas que positivas (o viceversa), y la distribución de muestras positivas y negativas en los datos de prueba también puede cambiar con el tiempo.

Esto se debe a que, en la fórmula de cálculo de la curva ROC, $TPR$ solo se calcula para ejemplos positivos,$El\; FPR$ se calcula sólo para ejemplos negativos. Por lo tanto, incluso si la proporción de muestras positivas y negativas está desequilibrada o la proporción de muestras positivas y negativas cambia con el tiempo, la curva ROC no cambiará significativamente.

而$Acuracy$、$Recall$、$La\; fórmula\; de\; cálculo\; de\; precisióndebeconsiderarejemplospositivos$ y negativos. Cuando la proporción de ejemplos positivos y negativos cambia, su valor se verá muy$afectado$$.$

4. Indicadores de clasificación cuando las muestras positivas y negativas están desequilibradas

1. Conjunto de datos equilibrados de muestras positivas y negativas

S.NO.	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
etiqueta real	0	0	0	0	0	0	0	0	1	1	1	1	1	1	1
Pronóstico—Modelo 1	0.1	0.1	0.1	0.1	0.1	0.1	0,6	0,6	0,5	0,5	0,9	0,9	0,9	0,9	0,9
Pronóstico—Modelo 2	0,6	0,6	0,6	0,6	0,6	0,6	0,6	0,6	0,7	0,7	0,7	0,7	0,8	0,8	0,8

	Umbral F1=0,5	El mejor escenario de F1	República de China-AUC	Pérdida de registro
Modelo 1	0,88	0,88	0,94	0,28
Modelo 2	0,67	1	1	0,6

En términos de pérdida de entropía cruzada, M1 es mucho mejor que M2. Aunque M2 puede clasificar datos muy bien, la brecha entre 0,6 y 0 sigue siendo un poco grande, por lo que softmax se usa comúnmente en problemas de clasificación en lugar de regresión.

2. Hay muchas más muestras negativas que positivas.

S.NO.	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
etiqueta real	0	0	0	0	0	0	0	0	0	0	0	0	0	1	1
Pronóstico—Modelo 1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0,9
Pronóstico—Modelo 2	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0,9	0,9	0,9

	Umbral F1=0,5	República de China-AUC	Pérdida de registro
Modelo 1	0,88	0,83	0,24
Modelo 2	0,96	0,96	0,24

En este conjunto de datos, el modelo 1 clasifica la muestra 14 como FN negativa y el modelo 2 clasifica la muestra 13 como FP positiva. Para situaciones donde el número de muestras positivas es pequeño, esperamos detectar todas las muestras positivas (Modelo 2) en lugar de "seguir a la multitud" (Modelo 1). Por lo tanto, el Modelo 2 es mejor que el Modelo 1. Esto está en F1 - Ambos Se pueden reflejar la puntuación y ROC-AUC.

3. El número de muestras positivas es mucho mayor que el número de muestras negativas.

S.NO.	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
etiqueta real	0	0	0	1	1	1	1	1	1	1	1	1	1	1	1
Pronóstico—Modelo 1	0.1	0.1	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9
Pronóstico—Modelo 2	0.1	0.1	0.1	0.1	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9	0,9

	Umbral F1=0,5	República de China-AUC	Pérdida de registro
Modelo 1	0.963	0,83	0,24
Modelo 2	0,96	0,96	0,24

Cuando el número de muestras positivas es mucho mayor que el número de muestras negativas, esperamos detectar las muestras negativas tanto como sea posible. En este momento, ROC-AUC es más adecuado.

4. Resumen

• La pérdida logarítmica no es adecuada para indicadores de evaluación de clasificación cuando las muestras están desequilibradas
• ROC-AUC se puede utilizar como índice de evaluación de clasificación cuando las muestras positivas y negativas están desequilibradas.
• Si desea predecir correctamente una pequeña cantidad de casos, puede elegir ROC-AUC como índice de evaluación.