Prólogo
La mayor parte de este artículo proviene de los siguientes dos blogs:
http://blog.csdn.net/dinosoft/article/details/43114935
http://my.oschina.net/liangtee/blog/340317
Cartilla
Suponiendo los siguientes dos clasificadores, ¿cuál es mejor? (Hay 90 muestras de tipo A y 10 muestras de tipo B).
| 、 | Muestra A | Muestra B | Precisión de clasificación |
|---|---|---|---|
| Clasificador C1 | A * 90 （100%） | A * 10 （0%） | 90% |
| Clasificador C2 | A * 70 + B * 20 （78%） | A * 5 + B * 5 （50%） | 75% |
El clasificador C1 clasifica todas las muestras de prueba en la clase A, el clasificador C2 clasifica 90 muestras de la clase A en 70 y 10 muestras de la clase B en 5 pares.
La precisión de clasificación de C1 es del 90%, y la precisión de clasificación de C2 es del 75%, pero intuitivamente, creemos que C2 es más útil. Pero de acuerdo con la tasa de precisión, el efecto de C1 es definitivamente mejor. Entonces esto es inconsistente con lo que pensamos. Es decir, a veces, no es apropiado confiar únicamente en la corrección.
También necesitamos un indicador de evaluación que pueda reflejar objetivamente la capacidad de predecir exhaustivamente muestras positivas y negativas, y también considerar eliminar el efecto de la inclinación de la muestra (de hecho, es la idea de normalización y similares, lo cual es muy importante en la práctica, como pv es siempre Mucho mayor que el clic), este es el problema que el indicador de auc puede resolver.
El índice de evaluación que se usa comúnmente para los clasificadores en la práctica de aprendizaje automático es auc. No quiero entenderlo. Si es fácil de usar, solo recuerde una oración
El rango de valores de auc es [0.5,1]. Cuanto mayor sea el valor, mejor.
¿Qué es auc?
El área debajo de la curva roc es auc, por lo que primero debemos averiguar el roc.
Primero mire el problema de dos categorías, hay 4 combinaciones de valores predichos y reales, consulte la tabla de contingencia a continuación
Por lo tanto, cambiar los criterios de evaluación al que está cerca de la esquina superior izquierda es un buen clasificador. (Considerando la capacidad de clasificación integral de muestras positivas y negativas)
Si un clasificador puede generar puntaje, ajuste el umbral del clasificador, dibuje los puntos correspondientes en el gráfico y conecte esta línea a una línea. Esta línea es roc, y el área bajo la curva es auc (Área bajo la curva de ROC)
Cómo dibujar la curva ROC
Para un conjunto de datos de prueba y clasificador específico, obviamente solo un resultado de clasificación, es decir, un conjunto de resultados de FPR y TPR, y para obtener una curva, en realidad necesitamos una serie de valores de FPR y TPR para obtener dicha curva, ¿Cómo sucedió esto?
Puede ajustar dinámicamente si una muestra pertenece a una muestra positiva o negativa a través de una función importante del clasificador, " salida de probabilidad ", lo que significa que el clasificador cree que la probabilidad de una muestra pertenece a una muestra positiva (o muestra negativa). Cuando hay una columna que indica la probabilidad de ser determinado como una muestra positiva?)
Si hemos obtenido la salida de probabilidad de todas las muestras (la probabilidad de ser una muestra positiva), la pregunta ahora es cómo cambiar este umbral (salida de probabilidad). Clasificamos los valores de probabilidad de cada muestra de prueba de muestras positivas de grande a pequeña. La siguiente figura es un ejemplo. Hay 20 muestras de prueba en la figura. La columna "Clase" indica la etiqueta verdadera de cada muestra de prueba (p indica una muestra positiva yn indica una muestra negativa). La probabilidad
A continuación, usamos el valor de "Puntuación" como el umbral de mayor a menor. Cuando la probabilidad de que la muestra de prueba pertenezca a una muestra positiva es mayor o igual a este umbral, consideramos que es una muestra positiva, de lo contrario es una muestra negativa. Por ejemplo, para la cuarta muestra en la figura, el valor de "Puntaje" es 0.6, luego las muestras 1, 2, 3 y 4 se consideran muestras positivas, porque sus valores de "Puntaje" son mayores o iguales a 0.6, mientras que otros Las muestras se consideran muestras negativas. Cada vez que se selecciona un umbral diferente, podemos obtener un conjunto de FPR y TPR, que es un punto en la curva ROC. De esta forma, obtuvimos un total de 20 conjuntos de valores FPR y TPR. Los resultados de dibujarlos en la curva ROC son los siguientes:
Cuando establecemos el umbral en 1 y 0, podemos obtener dos puntos (0,0) y (1,1) en la curva ROC. Conecte estos pares (FPR, TPR) para obtener la curva ROC. Cuando el valor umbral es mayor, la curva ROC es más suave.
--¡Pensé que ROC era inútil cuando jugaba con Ali! ! ! ! ¡Es realmente llamativo! ! ! Todavía me pregunto: ¿cómo determinar el mejor resultado basado en ROC? Vea qué clasificador está más cerca de la esquina superior izquierda. Al mismo tiempo, el ROC puede usarse para determinar dónde es más apropiada la selección del límite de probabilidad de la muestra positiva. ! ! ¡Resultó ser el caso! ! ! ! ! ! ! ! !
Cálculo del valor de AUC
AUC (Área bajo curva) se define como el área bajo la curva ROC. Obviamente, el valor de esta área no será mayor que 1. Y debido a que la curva ROC está generalmente por encima de la línea recta y = x, el rango de valores de AUC está entre 0.5 y 1. El valor de AUC se usa como criterio de evaluación porque muchas veces la curva ROC no indica claramente qué clasificador tiene mejor efecto, y como valor, el clasificador correspondiente a un AUC más grande tiene mejor efecto.
¿Qué significa AUC?
Entonces, ¿qué significa el valor AUC? Según (Fawcett, 2006), el valor de AUC significa:> El valor de AUC es equivalente a la probabilidad de que un ejemplo positivo elegido al azar tenga una clasificación más alta que un ejemplo negativo elegido al azar.
Esta oración es un poco redonda, trato de explicar: Primero, el valor de AUC es un valor de probabilidad. Cuando selecciona aleatoriamente una muestra positiva y una muestra negativa, el algoritmo de clasificación actual clasifica esta muestra positiva frente a la muestra negativa de acuerdo con el valor de puntaje calculado. La probabilidad es el valor de AUC. Por supuesto, cuanto mayor sea el valor de AUC, más probable es que el algoritmo de clasificación actual clasifique las muestras positivas frente a las negativas, es decir, una mejor clasificación.
¿Por qué usar la curva ROC?
Ahora que hay tantos criterios de evaluación, ¿por qué usar ROC y AUC? Debido a que la curva ROC tiene una característica muy buena: cuando cambia la distribución de muestras positivas y negativas en el conjunto de prueba, la curva ROC puede permanecer sin cambios. El desequilibrio de clase a menudo ocurre en conjuntos de datos reales, es decir, hay más muestras negativas que muestras positivas (o viceversa), y la distribución de muestras positivas y negativas en los datos de prueba también puede cambiar con el tiempo. La siguiente figura es una comparación entre la curva ROC y la curva 5 de Precisión-recuperación :
En la figura anterior, (a) y (c) son curvas ROC, y (b) y (d) son curvas de Precisión-Recuperación. (a) y (b) muestran los resultados de la clasificación en el conjunto de prueba original (balance de distribución de muestra positivo y negativo), (c) y (d) es aumentar el número de muestras negativas en el conjunto de prueba a 10 veces la clasificación original. El resultado del dispositivo. Se puede ver claramente que la curva ROC básicamente mantiene su apariencia original, mientras que la curva Precision-Recall cambia mucho.
