Aprendizaje automático: detección de anomalías

definición del problema

anomalía, valor atípico, novedad, excepciones

Diferentes enfoques utilizan diferentes términos para definir este tipo de problema.

solicitud

Dos categorías

Si solo hay datos normales y el rango de datos anormales es muy amplio (no exhaustivo), la clasificación binaria no es fácil de hacer. Además, los datos anormales no son fáciles de recopilar.

Clasificación

Cada imagen está etiquetada y puedes entrenar a un clasificador de miembros de la familia Simpson.

Detección de anomalías basada en clasificador.

Haga preguntas anormales basadas en puntajes de confianza. Si es mayor que cierto valor, es normal, y si es menor que cierto valor, es anormal. El puntaje máximo se juzgará erróneamente como parte de los datos de confianza

.

Estimación del puntaje de confianza

Enseñe directamente el puntaje de confianza de la red, no solo haga la tarea de clasificación C, sino que también proporcione el puntaje de confianza P

Entrenar y Evaluar

100 fotos de los Simpson, 5 fotos anómalas

• Los gráficos normales con color azul se clasifican erróneamente como anormales
• Los mapas anormales con color rojo se clasifican erróneamente como normales

En este momento, utilice el conjunto de desarrollo para evaluar el sistema, que es un problema de clasificación binaria.

La distribución de proporciones normales y anormales es muy diferente. Este sistema puede tener una alta tasa de precisión, pero no hace nada. No tiene sentido usar la tasa de precisión ACC para clasificar.

Use la matriz de confusión:


tabla de costos, el costo de hacer un mal comportamiento, calcule una puntuación:


configure la tabla de costos para sus propias tareas. También existen algunos métodos para medir, como el AUC (área de la curva ROC).

pregunta

Si la cara es amarilla, entonces el sistema dará una puntuación alta, lo que significa que lo que aprende el sistema de clasificación no es reconocer a las personas, sino si la cara es amarilla.

Suponga que puede recibir algunos datos anormales, puede aprender a clasificar y dar puntajes anormales al mismo tiempo, pero este tipo de datos no es fácil de recopilar. Considere usar GAN para generar datos anómalos.

Escenas sin etiquetas

Jugadores normales y jugadores anormales (Xiaobai)

definición del problema

Se necesita un método numérico para dar a cada jugador una puntuación. $f\left(sta\right)$ estimación de la densidad de probabilidad

Distribución gaussiana