Cálculo de métricas de aprendizaje automático

1. Como se muestra en la siguiente figura

1. exactitud

$$\text{ exactitud }=\frac{TP+}{TP+Tennesse+FP+FN}$$La precisión se refiere a la relación entre el número de muestras pronosticadas correctamente y el número total de muestras pronosticadas. No considera si las muestras pronosticadas son positivas o negativas, sino que considera todas las muestras.

2. precisión (índice de precisión)

$$\text{ precisión }=\frac{}{TP+FP}$$

La precisión se refiere a la relación entre el número de muestras positivas pronosticadas correctamente y el número de todas las muestras positivas pronosticadas, es decir, cuántas de todas las muestras positivas pronosticadas son muestras positivas verdaderas. De esto podemos ver que la precisión solo presta atención a la parte que se predice como una muestra positiva.

3. recuerdo (tasa de recuerdo)

$$\text{ recordar }=\frac{}{TP+FN}$$

Se refiere a la relación entre el número de muestras positivas predichas correctamente y el número total de muestras positivas reales, es decir, cuántas muestras positivas puedo averiguar correctamente a partir de estas muestras.

4. Puntuación F

$$F-\text{ puntaje }=\frac{}{1/\text{ precisión }+1/\text{ recordar }}$$F-score es equivalente al promedio armónico de precisión y recuperación, y la intención es hacer referencia a dos indicadores. Podemos ver en la fórmula que si cualquier valor de recuperación y precisión disminuye, la puntuación F disminuirá y viceversa.

5. especificidad

$$\text{ especificidad }=\frac{}{Tennesse+FP}$$El indicador de especificidad no se ve a menudo, es relativo a la sensibilidad (recall), que se refiere a la relación entre el número de muestras negativas correctamente predichas y el número total de muestras negativas reales, es decir, cuántas de ellas puedo encontrar correctamente. de estas muestras?Muestras negativas.

6. sensibilidad (TPR)

$$\text{ sensibilidad }=\frac{}{TP+FN}=\text{ recordar }$$

7. curva PR

Ponemos el eje vertical a precisión, el eje horizontal a recuperación, y cambiamos el umbral para obtener una serie de pares y dibujar una curva. Para el efecto de predicción de diferentes modelos en el mismo conjunto de datos, podemos dibujar una serie de curvas PR. En general, si una curva "rodea" completamente a la otra, podemos considerar que ese modelo clasifica mejor que el modelo de comparación.

Como se muestra en la siguiente figura:

Indicadores bajo desequilibrio muestral

fondo:

En la mayoría de los casos, los costos de clasificación de las diferentes categorías no son iguales, es decir, no se puede comparar el costo de clasificar las muestras como ejemplos positivos o negativos. Por ejemplo, en el filtrado de spam, esperamos que los correos electrónicos importantes nunca se consideren como spam, y en la detección del cáncer, preferimos juzgar mal que fallar. En este caso, no es suficiente usar la tasa de error de clasificación como una métrica sola, ya que tal error métrico oculta el hecho de cómo se clasificó erróneamente la muestra. Por lo tanto, en la clasificación, cuando la importancia de una determinada categoría es más alta que otras categorías, puede usar Precisión y Recuperación de múltiples indicadores nuevos que son mejores que la tasa de error de clasificación.

8. roc (Curva característica de funcionamiento del receptor)

El desequilibrio de clases a menudo ocurre en conjuntos de datos reales, es decir, hay muchas más muestras negativas que muestras positivas (o viceversa), y la distribución de muestras positivas y negativas en los datos de prueba también puede cambiar con el tiempo. En este caso, la curva ROC puede permanecer sin cambios. Al mismo tiempo, podemos afirmar que cuanto más cerca esté la curva ROC de la esquina superior izquierda, mejor será el rendimiento del clasificador, lo que significa que el clasificador obtiene una alta tasa de verdaderos positivos mientras que la tasa de falsos positivos es muy baja.

El siguiente es un ejemplo de una curva ROC:

donde la abscisa de la curva es la tasa de falsos positivos (False Positive Rate, FPR), N es el número de muestras negativas reales y FP es la muestra positiva predicha por el clasificador entre las N muestras negativas El número de , P es el número de muestras reales. donde $FPR=\frac{}{FP+TN}$, $TPR=\frac{}{TP+FN}$。

Por ejemplo, si hay 20 muestras para 2 clasificaciones, los resultados de la clasificación son los siguientes:

ahora especificamos un umbral de 0,9, luego solo la primera muestra (0,9) se clasificará como un ejemplo positivo y todas las demás muestras se clasificarán como Clasificado como un ejemplo negativo, por lo tanto, para el umbral de 0,9, podemos calcular que el FPR es 0 y el TPR es 0,1 (porque hay un total de 10 muestras positivas y el número de predicciones correctas es 1), entonces sabemos que debe haber un punto en la curva es (0, 0.1). Seleccione diferentes umbrales (o "puntos de truncamiento") a su vez, dibuje todos los puntos clave y luego conecte los puntos clave para finalmente obtener la curva ROC como se muestra en la figura a continuación.

De hecho, existe una forma más intuitiva de dibujar la curva ROC, que es establecer el intervalo de escala del eje horizontal en $\frac{}{norte}$, el intervalo de escala del eje vertical se establece en $\frac{}{PAG}$, N, P son el número de muestras negativas y muestras positivas respectivamente. Luego, organice en orden descendente de acuerdo con los resultados de salida del modelo, recorra las muestras por turnos y dibuje la curva ROC comenzando desde 0. Cada vez que se encuentra una muestra positiva, se dibuja una curva con un intervalo de escala a lo largo del eje vertical, y cada vez que se encuentra una muestra negativa, es a lo largo del eje horizontal.Dibuje una curva con un intervalo de escala.Después de atravesar todos los puntos de la muestra, se dibuja la curva.

Dibujo de la curva ROC usando sklearn:

>>> from sklearnimport metrics
>>> import numpy as np
>>> y = np.array([1, 1, 2, 2]) #假设4个样本
>>> scores = np.array([0.1, 0.4, 0.35, 0.8])
>>> fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2)
>>> fpr #假阳性
array([ 0. ,  0.5,  0.5,  1. ])
>>> tpr #真阳性
array([ 0.5,  0.5,  1. ,  1. ])
>>> thresholds #阈值
array([ 0.8 ,  0.4 ,  0.35,  0.1 ])
>>> #auc(后面会说)
>>> auc = auc = metrics.auc(fpr, tpr)
>>> auc
0.75

Trace la curva:

import matplotlib.pyplot as plt
plt.figure()
lw = 2
plt.plot(fpr, tpr, color='darkorange',
         lw=lw, label='ROC curve (area = %0.2f)' % auc)
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()

La imagen dibujada es como se muestra en la figura:

9. auc(Área bajo la curva)

auc se refiere al área de la roc calculada. El valor AUC es un valor de probabilidad. Cuando selecciona aleatoriamente una muestra positiva y una muestra negativa, la probabilidad de que el algoritmo de clasificación actual clasifique la muestra positiva por delante de la muestra negativa de acuerdo con el valor de Puntuación calculado es el valor AUC. Cuanto mayor sea Valor de AUC, mayor será la clasificación actual.Cuanto más probable sea que el algoritmo clasifique las muestras positivas por delante de las muestras negativas, mejor podrá clasificar.

def AUC(label, pre):
　　"""
　　适用于ｐｙｔｈｏｎ3.0以上版本
   """
　　#计算正样本和负样本的索引，以便索引出之后的概率值
    pos = [i for i in range(len(label)) if label[i] == 1]
    neg = [i for i in range(len(label)) if label[i] == 0]
 
    auc = 0
    for i in pos:
        for j in neg:
            if pre[i] > pre[j]:
                auc += 1
            elif pre[i] == pre[j]:
                auc += 0.5
 
    return auc / (len(pos)*len(neg))
 
 
if __name__ == '__main__':
    label = [1,0,0,0,1,0,1,0]
    pre = [0.9, 0.8, 0.3, 0.1, 0.4, 0.9, 0.66, 0.7]
    print(AUC(label, pre))

Por supuesto, la fórmula también se puede usar para el cálculo: $$AUC\_\_=\frac{{\sum }_{i\in }{\mathrm{rango}}_{}-\frac{METRO(1+METRO}{2}}{METRO\times norte}$$

el código se muestra a continuación:

import numpy as np
def auc_calculate(labels,preds,n_bins=100):
    postive_len = sum(labels)
    negative_len = len(labels) - postive_len
    total_case = postive_len * negative_len
    pos_histogram = [0 for _ in range(n_bins)]
    neg_histogram = [0 for _ in range(n_bins)]
    bin_width = 1.0 / n_bins
    for i in range(len(labels)):
        nth_bin = int(preds[i]/bin_width)
        if labels[i]==1:
            pos_histogram[nth_bin] += 1
        else:
            neg_histogram[nth_bin] += 1
    accumulated_neg = 0
    satisfied_pair = 0
    for i in range(n_bins):
        satisfied_pair += (pos_histogram[i]*accumulated_neg + pos_histogram[i]*neg_histogram[i]*0.5)
        accumulated_neg += neg_histogram[i]

    return satisfied_pair / float(total_case)
 
 y = np.array([1,0,0,0,1,0,1,0,])
 pred = np.array([0.9, 0.8, 0.3, 0.1,0.4,0.9,0.66,0.7])
print("----auc is :",auc_calculate(y,pred))

10. AUROC (Área bajo la curva característica de operación del receptor)

La mayoría de las veces, AUC se refiere a AUROC, lo cual es una mala práctica, AUC tiene ambigüedad (podría ser cualquier curva), mientras que AUROC no tiene ambigüedad.

El resto son consistentes con AUC.

2. Resumen de indicadores de segmentación de imágenes

1. precisión de píxeles (marcados correctamente/número total de píxeles)

En aras de la explicación, suponga lo siguiente: un total de $k+1$ clase (desde$L_{}$a $L_{}$, que contiene una clase vacía o un fondo), ${pag}_{}$Indica que pertenece a la clase $pero$ predije como clasejjEl número de píxeles para$j\; .$Es decir,${pag}_{}$Indica la muestra positiva verdadera, y ${pag}_{},{pag}_{}$Las representaciones se interpretan como falsos positivos y falsos negativos, respectivamente.

Su fórmula de cálculo es la siguiente: $$PA\_=\frac{{\sum }_0^{}{pag}_{}}{{\sum }_{yo=0}^{}{\sum }_{j=0}^{}{pag}_{}}$$
Hay un total de k + 1 k+1 en la imagen$k+1$ ,${PAG}_{}$Indica que el iila clase$i$$El\; número\; de\; píxeles\; de\; clase\; i$ (el número de píxeles clasificados correctamente),${PAG}_{}$Indica que el iiLa clase$i$$El\; número\; de\; píxeles\; de\; clase\; j$ (el número de todos los píxeles)
, por lo que la relación representa la proporción de píxeles correctamente clasificados con respecto al número total de píxeles.

Para $En\; lo\; que\; respecta$$a\; PA$ , ¡la ventaja es la simplicidad! Desventajas: si una gran área de la imagen es el fondo y el objetivo es pequeño, incluso si la imagen completa se predice como fondo, habrá una puntuación de PA alta, por lo que este indicador no es adecuado para evaluar la segmentación de la imagen. efecto de objetivos pequeños.

2. MPA (Precisión media de píxeles)

Su fórmula de cálculo es la siguiente: $$MPA=\frac{}{1+k}\sum _0\frac{{pag}_{}}{{\sum }_{j=0}^{}{pag}_{}}$$

¡Calcule la precisión de cada categoría y tome la media!

3. MIou (Intersección media sobre unión)

Calcula la razón de la intersección a la unión de dos conjuntos, en segmentación semántica, los valores verdadero y predicho. $$Myootu=\frac{}{k+1}\sum _{yo=0}\frac{{pag}_{}}{{\sum }_{j=0}^{}{pag}_{}+{\sum }_{j=0}^{}{pag}_{}-{pag}_{}}$$

4. FWIoU (intersección ponderada en frecuencia sobre la unión)

Una mejora de MIou, este método puede establecer pesos para cada clase según su frecuencia de ocurrencia: $$FWIoU=\frac{}{{\sum }_{yo=0}^{}{\sum }_{j=0}^{}{pag}_{}}\sum _{yo=0}\frac{{pag}_{}}{{\sum }_{j=0}^{}{pag}_{}+{\sum }_{j=0}^{}{pag}_{}-{pag}_{}}$$

3. Resumen de indicadores de detección de objetivos

Se utilizan principalmente los siguientes indicadores:

$mAP$ :$Pre\; cisiónmeni\; apa\; ria$ , es decir, cada categoría$AP$$APPromedio$ AP
$AP$ :$El\; área\; bajo\; la\; curva\; PR$ se explicará en detalle más adelante
$PR$曲线:$Precisión\_\_\_\_\_\_-Recall$曲线
$Precisión\_\_\_\_\_\_:TP/(TP+FP)$
$Rectodo\_:TP/(TP+FN)$
$TP:yootu>$El número de marcos de detección de$0.5$$Laverdaddelterrenose$ calcula solo una vez)$FP$ : I o U <= 0,5 FP:$IoU$$<$$=$$\mathrm{0,5}$
$FP:yootu<=\mathrm{0,5}$ fotogramas de detección, o detectar el mismoGT GTEl número de marcos de detección redundantes de$GT$
$FN$ : Número de GTs no detectados
$IOU$ : Calcular el cociente de la intersección y unión de dos conjuntos
$NMS$ : APde supresión no máxima
Cálculo$de$$AP$

Para calcular $AP$ , lo primero que hay que calcular es$TP,FP,FN$ .

Para una sola imagen, primero atraviese el suelo en la imagen verdad$básica$$verdad$$\_$$\_$$\_$$truth$ objeto, y luego extraer el gt gtde una categoría que queremos calcular$gt$ $objects$ , luego lea el marco de detección de esta categoría detectada por el detector (no se preocupe por otras categorías), y luego filtre el puntaje de confianza más bajo que el umbral de confianza, y algunos umbrales de confianza no están establecidos. Ordene los marcos de detección restantes de acuerdo con el puntaje de confianza de mayor a menor, y primero juzgue el marco de detección con el puntaje de confianza más alto y$gt$ $bbox$的$yootu$ si o$yootu$嘈值, joven$iou$ es mayor que el conjunto$El\; umbral\; iou$ se juzga como$TP$ , pon este$g{t}_{}casillamarcada$ como detectada (posterior mismo$GT$ GTLos marcos de detección redundantes de$GT$$FP$ , por lo que primero se ordena de mayor a menor según la puntuación de confianza, y el marco de detección con la puntuación de confianza más alta va primero a$iou$ umbral de comparación, si es mayor que$iou$ umbral, considerado como$TP$ , siguiente mismogt gtLas cajas de detección de$objetos\; g$$t$$FP$ ),$Si\; iou$ es menor que el umbral, es$FP$ . El número total de GT en una determinada categoría en la imagen es fijo, se resta el número de TP y el resto es el número de FN

Cuando hay $tp,FP,Después\; del\; valor\; FN$ , podemos calcular$precision$与$rectodos$ .$\_$Calculando así$AP\_$ _

En $Antes\; de\; VOC2010$ , solo necesita seleccionar cuandoR ecall > = 0 , 0.1 , 0.2 , . . . , 1 Recall >= 0, 0.1, 0.2, ...,$1$$Rectodo\_>=0,0.1,0.2,...,1$ de11 11Precisión P Precisión$a\; 11$ pips$Precisiónmáx$ , luego$UnaP$ es esto$11$个$Valor\; mediodePrecision$ .
En$Para\; VOC2010$ y posteriores, se requiere Recall para cadaR ecall$diferente$$Recuperar\; valor\; (incluyendo\; 0\; y\; 1),\; seleccionar\; sies$ mayor o igual a$estos$$Recuperar$ RecuperarPrecisión P Precisiónen el$valor\; R$$ec$$a$$ll$$Precisiónvalormáximo$ ,luego$calcular$$PR$$PR$$\_$Área bajo la$curva\; PR$$Un$ valor$P.$
$Conjunto\; de\; datos\; de\; COCO$ , conjunto de varios$IOU$ Umbral ($0.5-\mathrm{0,95}$ ,$\mathrm{0,05}$ es el tamaño de paso), en cadaIOU IOUHay un cierto tipo de AP APumbral$I$$O$$U$$Un\; valorP$ , y luego encontrar diferentesIOU IOUAP APen el$Umbral\; I$$O$$U$$Un\; promediode\; P$ es el AP APfinal$Un$ valor$P.$
m AP m APCálculo$de$$m$$AP$

Como sugiere el nombre, todas las clases de $Un\; valorP$ promedio es$mAP$。

4. Medición de la eficiencia del modelo

FLOP (operaciones de punto flotante)

Se supone que la implementación de la operación de convolución tiene la forma de una ventana deslizante y la función no lineal no consume recursos informáticos. Luego, para $FLOPs$为：$$FLOPs=2HW(C_{}{k}^2+1)C_{fuera}$$donde $H$ ,$W$与$C_{}$es la altura, el ancho y el número de canal de las entidades de entrada, $K$ es el ancho y la longitud del kernel de convolución,$C_{fuera}$es el número de canales de salida. Al mismo tiempo, se supone que el tamaño de la entrada y la salida es el mismo.

Para capas totalmente conectadas: $$FLOPs=(2I\_-1)O$$ ,$I$ es la dimensión de la entrada,$O$ es la dimensión de salida.