Tabla de contenido
1. Varias situaciones de predicción habituales
TP , Verdadero Positivo, significa predecir la clase positiva como una clase positiva
TN , Verdadero Negativo significa predecir la muestra de clase negativa como una clase negativa
FP , Falso Positivo significa predecir la clase negativa como una clase positiva
FN , Falso Negativo significa predecir la clase positiva Es negativo.
Modelo de historia "El lobo se acerca"
2. Precisión y recuperación (precisión y recuperación)
La tasa de precisión / precisión ( Precisión ) es para el resultado de la predicción y representa la proporción de muestras verdaderamente positivas en las muestras cuyas predicciones son positivas. Hay dos situaciones en las que la predicción es positiva, una es para predecir la clase positiva como una clase positiva (TP) y la otra es para predecir una clase negativa como una clase positiva (FP), es decir, la
tasa de recuperación / tasa positiva verdadera ( recuperación ) se basa en el original. En términos de la muestra, significa cuántas clases positivas en la muestra se predicen correctamente. También hay dos situaciones, una es predecir la clase positiva original como una clase positiva (TP), y la otra es predecir la clase positiva original como una clase negativa (FN), es decir,
para evaluar completamente la efectividad del modelo, se debe verificar al mismo tiempo. Tasa de precisión y tasa de recuperación. Desafortunadamente, la tasa de precisión y la tasa de recuperación a menudo se intercambian. En otras palabras, aumentar la tasa de precisión generalmente reduce el valor de recuperación.
3. Puntaje F1 (Puntaje F1)
Indicadores de evaluación de Precisión y Recuperación Idealmente, es mejor lograr ambos indicadores altos, pero en general, si la Precisión es alta, la Recuperación es baja y la Recuperación es alta y la Precisión es baja.
Por lo tanto, en la práctica, a menudo es necesario hacer concesiones en función de condiciones específicas, como las condiciones generales de búsqueda, y tratar de mejorar la tasa de precisión tanto como sea posible bajo la condición de garantizar la tasa de recuperación. Para la detección de cáncer, detección de terremotos, fraude financiero, etc., la tasa de recuperación debe aumentarse tanto como sea posible con la condición de garantizar la precisión.
Se introduce un nuevo indicador F-score , que considera de manera integral el valor de armonía de Precision y Recall.
· Cuando β = 1, se denomina puntuación F1 o medida F1. En este momento, la precisión y el recuerdo son importantes y los pesos son los mismos.
· Cuando en algunos casos, creemos que la tasa de precisión es más importante para algunos, ajustaría el valor de β es menor que 1,
· si creemos que la recuperación es más importante para algunos, ajustaría el valor de β es mayor que 1.
La fórmula común de cálculo de la puntuación F1 ** (Puntuación F1 **) es la siguiente:
Por ejemplo, hay 10,000 muestras de datos de inspección de nuevos coronavirus en un área determinada, de las cuales 5 muestras dieron positivo en ácido nucleico y las otras pruebas múltiples fueron negativas. Suponga que el modelo de clasificación predice correctamente 9990 en los datos 9995 que es negativo para múltiples pruebas y 4 de las 5 pruebas de ácido nucleico positivas. En este momento, TP (positivo -> positivo) = 4, TN (negativo) -> Negativo) = 9990, FP (Negativo-> Positivo) = 5, FN (Positivo-> Negativo) = 1.
Nota: La categoría positiva aquí significa que la prueba de ácido nucleico es positiva y la categoría negativa significa que varias pruebas son negativas.
Según la fórmula de cálculo de precisión, tasa de precisión y tasa de recuperación:
Accuracy = (4+9990) /10000=99.94%
Precision = 4/(4+5)= 44.44%
Recall = 4/(4+1) = 80.00%
F1-score=2×(44.44% × 80%)/(1×44.44%+80%)=57.13%
F2-score=5× (44.44% × 80%)/(4×44.44%+80%)=68.96%
4. Otros indicadores comunes de evaluación del desempeño
Exactitud / Exactitud representa la proporción de muestras positivas y negativas que se clasifican correctamente
La tasa de falsas alarmas ( Falsa alarma ) representa la proporción de muestras negativas divididas en muestras positivas.
Correspondiente al ejemplo anterior es 1/5, 20%
Representa una tasa de alarma de fuga ( alarma perdida ) representa la proporción de muestra positiva dividida en clases basadas en muestras negativas.
El ejemplo correspondiente anterior es 5/9995,
referencia al 0.05% :
https://blog.csdn.net/sinat_35821976/article/details/81334181
https://blog.csdn.net/And_ZJ/article/details/105917794
http: / /www.mashangxue123.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1969668933.html
https://www.cnblogs.com/wushaogui/p/9146049 .html
https://blog.csdn.net/saltriver/article/details/74012163