Índice
Precisão (Precision) e recall (Recall)
IoU (Intersecção sobre a União)
Curva PR (Curva de Recuperação de Precisão) e AP
A detecção de objetos é uma tarefa importante no campo da visão computacional, e seu objetivo é identificar a localização e a categoria de objetos em imagens ou vídeos. Para avaliar o desempenho de um algoritmo de detecção de objetos, uma série de métricas é usada para quantificar a precisão, recuperação, precisão e capacidade do modelo de lidar com diferentes categorias. Este artigo apresentará indicadores de desempenho de detecção de alvos comuns em detalhes, incluindo taxa de precisão, taxa de rechamada, pontuação F1, IoU, AP, mAP, curva PR, etc., e fornecerá fórmulas e casos relevantes.
Precisão (Precision) e recall (Recall)
A precisão e a revocação são indicadores importantes para avaliar o desempenho dos modelos de detecção de objetos e geralmente são usados em tarefas de classificação binária. Na detecção de objetos, a precisão é a razão entre o número de objetos identificados corretamente pelo modelo e o número de todas as caixas previstas pelo modelo como objetos. Recall representa a razão entre o número de objetos corretamente identificados pelo modelo e o número total de objetos.
A fórmula é a seguinte:
Precisão: Acc = ( TP + TN ) / ( P + N )
Exatidão (precisão): TP / ( TP+FP ) = TP / P
Taxa de rechamada (recall): TP / (TP + FN ) = TP / T
Exemplo: Suponha que temos um modelo de detecção de objetos testado em um conjunto de imagens envolvendo 10 objetos objetos. O modelo identificou 8 objetos, 6 dos quais eram reais (verdadeiros positivos), 2 foram identificados incorretamente (falsos positivos) e 2 não foram realmente reconhecidos (falsos negativos). Então, a precisão é 6 / (6 + 2) = 0,75 e a rechamada é 6 / (6 + 2) = 0,75.
Pontuação F1 (Pontuação F1)
A pontuação F1 é a média harmônica de precisão e recuperação, que é usada para considerar de forma abrangente a precisão e a recuperação do modelo. A pontuação F1 é útil para lidar com conjuntos de dados desequilibrados ou quando há uma compensação entre precisão e recuperação.
A fórmula é a seguinte:
Caso: Suponha que um modelo de detecção de objetos tenha uma taxa de precisão de 0,8 e uma taxa de rechamada de 0,7. Então, a pontuação F1 é 2 * (0,8 * 0,7) / (0,8 + 0,7) = 0,7619.
IoU (Intersecção sobre a União)
IoU é uma medida do grau de sobreposição entre a caixa delimitadora prevista e a caixa delimitadora verdadeira e é frequentemente usada para avaliar a qualidade da caixa de detecção de objetos. IoU é medido calculando a área de interseção da caixa prevista e a caixa de verdade dividida por sua área de união.
A fórmula é a seguinte:
Normalmente, uma caixa prevista é considerada uma previsão correta se o IoU for maior que um determinado limite (por exemplo, 0,5).
Caso: Considere uma tarefa de detecção de alvo, a posição do quadro real é [20, 30, 100, 150] e a posição do quadro previsto é [25, 35, 95, 145]. A área de interseção é (95 - 25) * (145 - 35) = 6000, a área real da caixa é (100 - 20) * (150 - 30) = 9000 e a área prevista da caixa é (95 - 25) * ( 145 - 35) = 6000. A área da união é 9000 + 6000 - 6000 = 9000. Portanto, o IoU é 6000 / 9000 = 0,6667.
Curva PR (Curva de Recuperação de Precisão) e AP
Uma curva PR é uma representação gráfica da precisão de um modelo em diferentes taxas de recuperação. Na detecção de alvos, a taxa de recuperação refere-se à proporção entre o número de amostras positivas detectadas corretamente e o número de todas as amostras positivas reais, enquanto a taxa de precisão se refere à proporção entre o número de amostras positivas detectadas corretamente e o número de amostras previstas como amostras positivas pelo modelo.
Um exemplo simples é usado para demonstrar o cálculo da precisão média (AP). Suponha que haja um total de 5 maçãs no conjunto de dados. Coletamos todas as previsões feitas pelo modelo para maçãs e as classificamos de acordo com seu nível de confiança (do maior para o menor). A segunda coluna indica se a previsão estava correta ou não. Está correto se corresponder à verdade básica e loU ≥ 0,5.
Na tabela, a coluna Classificação indica o número de série das caixas organizadas de alto a baixo em termos de confiança, correto indica se a caixa está correta, Precisão indica a taxa de precisão calculada e Rechamada indica a taxa de rechamada calculada.
O cálculo de precisão e recall é um processo cumulativo, não independente de cada caixa.
Por exemplo:
Na primeira caixa, taxa de precisão = 1/1 = 1,0, taxa de rechamada = 1/5 = 0,2;
Na segunda caixa, precisão = 2/2 = 1,0, rechamada = 2/5 = 0,4;
Na terceira caixa, precisão = 2/3 = 0,67, recall = 2/5 = 0,4;
...
Neste momento, podemos desenhar a curva PR de acordo com a taxa de precisão e a taxa de rechamada:
AP é a área sob a curva PR. Os pontos de amostragem serão definidos. Geralmente, o eixo horizontal é dividido em 10 ou 100 segmentos em média dentro do intervalo de 0 a 1. Os valores amostrados finais são somados e divididos pelo número de pontos de amostragem. Claro que existem outras maneiras.
mAP (precisão média média)
mAP é a média de todos os APs de categoria, que geralmente é usado para medir o desempenho geral das tarefas de detecção de objetos multicategoria. Ele avalia de forma abrangente o desempenho do modelo em várias categorias e pode refletir com precisão o desempenho do modelo em diferentes categorias.
Caso: Suponha que tenhamos um modelo de detecção de alvo multicategoria e o AP calculado para cada categoria seja o seguinte:
| categoria | PA |
|---|---|
| cachorro | 0,85 |
| Gato | 0,75 |
| veículo | 0,90 |
| pedestre | 0,70 |
Então mAP é (0,85 + 0,75 + 0,90 + 0,70) / 4 = 0,80.
As métricas de desempenho de detecção de objetos desempenham um papel importante na avaliação do desempenho de modelos em diferentes conjuntos de dados e tarefas. Indicadores como taxa de precisão, taxa de reconvocação, pontuação F1, IoU, AP, mAP e curva PR podem considerar de forma abrangente o desempenho do modelo em diferentes aspectos e nos ajudar a entender melhor as vantagens e limitações do modelo. Em aplicações práticas, de acordo com as características e requisitos da tarefa, é crucial escolher um indicador adequado para avaliar o desempenho do modelo.