curva ROC y la curva PR

curva ROC y la curva de PR son dos curvas importantes para evaluar el rendimiento de los algoritmos de aprendizaje automático, el concepto es relativamente fácil confundir los dos, pero ambos escenario de uso es diferente. En este artículo se describe el significado de los dos tipos de curvas y escenarios de aplicación.

definiciones

curvas ROC y la curva de PR se utilizan en la segunda categoría, que implica varios conceptos y siguientes (tomado de de la relación de la Entre los recuerdo y la precisión ROC-Curves )

Lo anterior cuatro indicadores se explican a continuación con vernácula

Recall: recordatorio, n es la muestra que se predijo relación positiva (mejor)
Precisión: la precisión, predijo la proporción de muestras positivas predijo correctamente (cuanto más grande mejor)
Tasa de verdaderos positivos: Recall se define con el mismo (cuanto más grande mejor)
FPR: muestras negativas se predice como una relación positiva (el más pequeño es el mejor)

Para un problema de clasificación binaria, a menudo de un umbral establecido, la predicción es positiva cuando la muestra es mayor que se predice el valor umbral, las muestras negativas predichos es menor que el umbral. Si Recall abscisa, ordenada de precisión, a continuación, el establecimiento de un umbral, se puede dibujar un punto en el eje, una pluralidad de umbral puede establecerse para dibujar una curva, esta curva es la curva de PR.

Recall PR curva es el eje horizontal, eje vertical de precisión; y la curva ROC se basa en el FPR eje horizontal, eje vertical TPR.

A continuación, la relación entre los dos es que?

contraste

La relación entre la precisión de recordar y ROC Curvas demostró los dos teoremas siguientes

Teorema 1 : Para un conjunto de datos dado, el espacio ROC PR y no hay espacio para la relación uno a uno, ya que ambos contienen exactamente la misma matriz de confusión. Podemos curva ROC en una curva de relaciones públicas, y viceversa.
Teorema 2 : para un número determinado conjunto de datos de muestras positivas y negativas, la curva ROC Un espacio que la curva B, cuando y sólo cuando el PR es también curva en el espacio superior de B. La curva A

Teorema 2 "es mejor que la curva A curva B" se refiere a todas las partes de la curva A o curva B bajo las coincide curva A. En el espacio ROC, la curva ROC que sobresale dirección hacia la izquierda, mejor. Con diferente curva ROC es convexa superior izquierda, superior derecha PR curva es convexa mejor efecto.

Desde el punto de vista del teorema 2, el espacio ROC y PR espacio de dos indicadores parecen tener redundancia, así que ¿por qué necesitamos estos dos indicadores simultánea? La respuesta es que en ambas muestras no están equilibrados desempeño bajo circunstancias muy diferentes.

La figura es la comparación de la curva de ROC y la curva de precisión de recordar, tomada una introducción al análisis ROC

La figura (A) y (b) la muestra es relación negativa de 1:.. 1 bajo la curva ROC y la curva de PR, la figura (C) y (d) son más o menos relación de muestra de 1: curvas ROC en 100 y PR curva.

A partir de los resultados: Cuando la distribución de muestras positivas y negativas de la concentración variable de prueba, la curva ROC se puede mantener constante.

Artículos Una introducción al análisis ROC en que esto es una ventaja, ya que los datos en el enfoque actual a menudo aparece clase desequilibrada fenómeno (desequilibrio de clase), que es una gran cantidad de muestras negativas (o viceversa) de las muestras positivas, mientras que la República de China que no lo hacen balanza robusta de la muestra de tal manera que el área bajo la curva AUC mutación no se produce.

Bueno, AUC Lo que esto significa ? En primer valor AUC es un valor de probabilidad que representa una muestra seleccionada aleatoriamente de las muestras positivas y un algoritmo de clasificación de corriente negativa de acuerdo con el valor calculado de la Puntua este muestras positivas calificados muestras negativas delanteros probabilidad. AUC calculada - Funcionamiento avanzado

Por lo tanto, los valores de AUC en realidad refleja la capacidad rango del modelo, cuanto mayor sea el valor de AUC, el algoritmo de clasificación actual es más probable que sean las muestras positivas por delante de las muestras negativas. Este indicador es particularmente útil en algunas situaciones (como las estimaciones de CTR), cada uno para ser devuelto es más probable que haga clic en varios anuncios (según el CTR tipo, seleccione superficie superior varios), es de hecho la prueba clasificación capacidades del modelo. Además, existe CTR desequilibrio en el problema de muestra, la proporción de muestras positivas y negativas son generalmente mayor de 1: 100, si la curva de PR, AUC dará lugar a cambios drásticos, no mejor reflejar los resultados del modelo.

Sin embargo, las ventajas de la curva de ROC no cambia con Varía distribución de la clase en cierta medida también una desventaja. curva ROC porque este invariancia es en realidad afecta al valor AUC, o es evaluar el rendimiento general del clasificador. Sin embargo, en algunos casos, vamos a prestar más atención a las muestras positivas, esta vez debemos utilizar la curva de PR.

Por ejemplo, la detección de fraude de tarjetas de crédito, que será más preocupado por la precisión y la recuperación, por ejemplo, si se le pide para predecir una persona fraudulenta lo más preciso posible, es para mejorar la precisión, pero si quieres que muchas personas predicen un posible fraude, es para mejorar la memoria. En general, mejorar el umbral dicotómica puede mejorar la precisión, el umbral inferior puede mejorar la memoria, a continuación, se puede observar la curva de PR, el umbral óptimo.

Además, las preguntas sobre Quora

¿Qué es la diferencia entre una curva ROC y una curva de precisión de recordar? ¿Cuándo debo utilizar cada uno? También citó lo ejemplo ilustra el problema de la detección de fraudes, la curva de relaciones públicas para reflejar mejor los resultados de los cambios.

Tomemos un ejemplo de un problema de detección de fraude, donde hay 100 fraudes fuera de 2 millones de muestras.

Algoritmo 1: 90 fuera pertinente de 100 identificado
Algoritmo 2: 90 fuera pertinente de 1.000 identificado

Evidentemente, el algoritmo 1 es más preferible debido a que identifica menos cantidad de falso positivo.

En el contexto de la curva ROC,
Algoritmo 1: TPR = 90/100 = 0,9, FPR = 10/1999900 = 0,00000500025
Algoritmo 2: TPR = 90/100 = 0,9, FPR = 910/1999900 = 0,00045502275
La diferencia FPR es 0,0004500225

Para PR Curve
Algoritmo 1: precisión = 0,9, memoria = 0.9
Algoritmo 2: Precisión = 90/1000 = 0,09, el recuerdo = 0,9
diferencia Precision = 0,81

La diferencia es más evidente en la curva de PR

resumen

En resumen, las siguientes conclusiones pocos (se refieren a la máquina de aprendizaje problema del desequilibrio de clases (2) - curvas ROC y PR )

curva ROC porque tanto negativo y positivo ejemplo de realización, es adecuado para evaluar el rendimiento global del clasificador (normalmente se calculará el AUC, el modelo representa el rango de rendimiento), en comparación con la curva totalmente centrado en casos PR positivos.
Si existen varias copias de los datos, y hay diferentes clases de distribuciones . Tales como el fraude de tarjetas de crédito en la proporción de ejemplos positivos y negativos ejemplos pueden no ser el mismo cada mes, esta vez Si desea simplemente comparar el rendimiento del clasificador y el impacto de los cambios en la distribución de las categorías excluidas, la curva ROC más adecuado, ya que los cambios en la categoría de distribución PR curva puede hacer que los tiempos buenos y malos cambios, esta vez es difícil comparar el modelo, por otra parte, si desea probar el impacto en el rendimiento del clasificador bajo diferentes categorías de distribución, la curva de PR es más adecuado.
Si desea evaluar la distribución de predicción en el caso de los ejemplos positivos de la misma categoría , la curva de la banda debe ser seleccionado. problema del desequilibrio de clases, por lo general curva ROC da una estimación optimista del efecto, por lo que la mayor parte del tiempo o la curva PR mejor. (Refiriéndose al ejemplo anterior Quora a)
Finalmente, de acuerdo con la aplicación específica, para encontrar el punto óptimo de la curva, para dar el correspondiente precisión, recordar, la puntuación de f1 y otros indicadores, para ajustar el valor umbral del modelo para obtener un modelo en línea con la aplicación específica.