Teoria de aprendizagem profunda - biblioteca e função de importação Python, dois indicadores de avaliação (taxa de erro Top-5 e taxa de erro Top-1), curva ROC e conceito AUC

Dica: Depois que o artigo for escrito, o índice pode ser gerado automaticamente. Como gerá-lo pode consultar o documento de ajuda à direita


1. Sobre a importação de bibliotecas e funções de importação

import module: importa um módulo, obs: equivale a importar uma pasta, toda vez que você usar a função no módulo, você deve determinar a referência

from...import XX: Import é uma função em um módulo; Obs: Equivale a importar um arquivo em uma pasta, que é um caminho absoluto

from…import *: importa todas as funções de um módulo, nota: equivale a importar todos os arquivos de uma pasta, todas as funções são caminhos absolutos

2. Dois indicadores de avaliação (taxa de erro Top 5 e taxa de erro Top 1)

1.Taxa de erro dos 5 primeiros
Para uma imagem, se a resposta correta estiver incluída entre as cinco maiores probabilidades, ela é considerada correta.

2. Taxa de erro Top-1
Para uma imagem, se a resposta com a maior probabilidade for a resposta correta, ela é considerada correta.
A ImageNet hospeda uma competição anual de software chamada (ImageNet Large Scale Visual Recognition Challenge, ILSVRC). O conteúdo principal é alcançar classificação correta e detecção e reconhecimento de objetos e cenas por meio de programas de algoritmos. O padrão de avaliação é a taxa de erro Top-5.

Três, matriz de confusão matriz de confusão, curva ROC, AUC

1. matriz de confusão matriz de confusão

A matriz de confusão serve para contar separadamente o número de observações do modelo de classificação classificadas na classe errada e na classe correta e, em seguida, exibir os resultados em uma tabela.

O valor real é positivo e o modelo pensa que é o número de positivos (True Positive = TP)

O valor verdadeiro é positivo, e o modelo o considera negativo (Falso Negativo=FN): Este é o segundo tipo de erro em estatística (Erro Tipo II)

O valor verdadeiro é negativo, e o número que o modelo considera positivo (Falso Positivo=FP): Este é o primeiro tipo de erro em estatística (Erro Tipo I)

O valor real é negativo, o número que o modelo considera negativo (True Negative=TN)

insira a descrição da imagem aqui

2. Curva ROC

A curva característica de operação do receptor (ROC) é um diagrama de coordenadas com a taxa de falso positivo (taxa de falso positivo) como o eixo horizontal e a taxa de verdadeiro positivo (taxa de verdadeiro positivo) como o eixo vertical.
True Positive Rate (TPR): Indica a proporção de amostras positivas reais para todas as amostras positivas nos dados atualmente previstos como amostras positivas

          TPR = TP / (TP + FN)

Taxa de Falso Positivo (FPR): Indica a proporção de amostras negativas reais para todas as amostras negativas nos dados atualmente classificados como amostras positivas.

          FPR = FP / (TN + FP)

De acordo com os resultados de previsão do modelo, as amostras são classificadas e as amostras são previstas uma a uma como amostras positivas em ordem. TPR e FPT são calculados a cada vez, e a curva ROC é obtida plotando FPR como a abcissa e TPR como a ordenada, respectivamente. O diagrama esquemático da curva ROC é o seguinte:
insira a descrição da imagem aqui

3.AUC

AUC (Área sob a Curva): A área sob a curva ROC, entre 0,1 e 1, pode ser utilizada como um valor numérico para avaliar intuitivamente a qualidade do classificador, e quanto maior o valor, melhor.
Como padrão de avaliação, o valor AUC é definido como a área sob a curva ROC, e a faixa de valores geralmente está entre 0,5 e 1. A razão pela qual o valor de AUC é usado como critério de avaliação é que, em muitos casos, a curva ROC não indica claramente qual classificador é melhor e, como valor, o classificador com maior AUC é melhor.
Os métodos de cálculo comuns para AUC são:
(1) Regra trapezoidal: Nos primeiros dias, devido a amostras de teste limitadas, a curva AUC que obtivemos tinha a forma de uma escada. Cada ponto na curva traça uma linha vertical ao eixo X para obter vários trapézios, e a soma das áreas desses trapézios é AUC; (2)
Estatística de Mann-Whitney: estatísticas de pares de amostras positivas e negativas, quantos amostras no grupo A probabilidade de é maior do que a probabilidade de amostras negativas. Essa estimativa aproxima-se gradualmente do valor real à medida que o tamanho da amostra aumenta.

AUC = 1, que é um classificador perfeito. Ao usar este modelo de previsão, há pelo menos um limite que pode fornecer uma previsão perfeita. Na maioria dos casos de predição, não existe um classificador perfeito.
0,5 < AUC < 1, melhor do que adivinhação aleatória. Este classificador (modelo) pode ter valor preditivo se o limite for definido corretamente. AUC = 0,5, o mesmo que adivinhação aleatória (por exemplo: jogar uma moeda), o modelo não tem valor preditivo.
AUC < 0,5, pior do que adivinhação aleatória; mas melhor do que adivinhação aleatória, desde que você sempre vá contra a previsão.
Imagem centrada:insira a descrição da imagem aqui

Resumir

Alguns pontos de conhecimento fragmentados de aprendizado profundo neste artigo foram parcialmente resolvidos e serão continuamente aprimorados e complementados em estudos subsequentes.

Acho que você gosta

Origin blog.csdn.net/qq_45296693/article/details/130475043
Recomendado
Clasificación