[Visão Computacional | Detecção de Alvo] Compreensão da Terminologia 3: Precisão, Recall, F1-score, mAP, IoU e AP

1. Precisão, Recall e F1-score

Na detecção de alvos de imagem, os indicadores de avaliação comumente usados ​​incluem o seguinte:

1. Precisão: Também conhecida como taxa de precisão, indica a proporção das amostras que são classificadas como categorias positivas que são realmente categorias positivas. A fórmula de cálculo é: Precisão = TP / (TP + FP), onde TP é o exemplo verdadeiro (o número de amostras que o modelo prevê corretamente como uma categoria positiva) e FP é o exemplo falso positivo (o número de amostras que o modelo prediz incorretamente como uma categoria positiva).
2. Taxa de recall (Recall): também conhecida como taxa de recall, que indica a proporção de amostras que são categorias verdadeiramente positivas que são classificadas corretamente como categorias positivas. A fórmula de cálculo é: Recall = TP / (TP + FN), em que TP é um exemplo verdadeiro e FN é um exemplo falso negativo (o número de amostras que o modelo prevê incorretamente como uma categoria negativa).
3. Valor F1 (pontuação F1): Considerando a taxa de precisão e a taxa de rechamada de forma abrangente, é a média harmônica das duas. A fórmula de cálculo é: F1 = 2 * (Precisão * Recall) / (Precisão + Recall).

二、IoU

IoU (Intersection over Union) é um dos indicadores de avaliação comumente usados ​​na detecção de alvos de imagem, que é usado para medir a precisão do quadro de detecção. Ele avalia o grau de sobreposição entre a caixa de detecção e a caixa de verdade básica calculando a razão de interseção e união entre as duas.

O método de cálculo do IoU é o seguinte:

1. Primeiro, determine a representação de coordenadas das duas caixas, geralmente usando as coordenadas do canto superior esquerdo e do canto inferior direito da caixa retangular.
2. Calcula a área da porção de interseção de duas caixas, a área de interseção. A área de interseção pode ser obtida calculando a largura e a altura da parte sobreposta das duas caixas e multiplicando-as.
3. Calcule a área de união de duas caixas somando as áreas das duas caixas e subtraindo a área de interseção.
4. Por fim, divida a área de interseção pela área de união para obter o valor de IoU. A fórmula de cálculo é: IoU = área de interseção/área de união.

A faixa de valores de IoU está entre 0 e 1. Quanto mais próximo o valor estiver de 1, maior o grau de sobreposição entre as duas caixas e quanto mais próximo o valor de 0, menor ou nenhuma sobreposição entre as duas caixas.

Na detecção de alvos, um limite de IoU geralmente é definido como um critério para julgar se o resultado da detecção está correto. O limite IoU comum é 0,5 ou 0,75, ou seja, quando o IoU for maior ou igual ao limite, o resultado da detecção é considerado correto. De acordo com diferentes tarefas e requisitos, o limite de IoU pode ser ajustado para equilibrar a compensação entre precisão e recuperação.

A IoU é amplamente utilizada na detecção de alvos para avaliar o desempenho do algoritmo, executar processamento de supressão não máxima (NMS) para eliminar caixas de detecção duplicadas e calcular a função de perda de treinamento, etc.

3. mAP

mAP (precisão média média) é um índice de avaliação abrangente comumente usado em tarefas de detecção de alvos, que é usado para medir o desempenho do modelo em várias categorias.

Primeiro, para cada categoria, a curva de recordação de precisão (curva PR) da categoria é calculada. A curva PR é obtida alterando o limite de confiança e calculando a taxa de precisão sob diferentes taxas de revocação. Ao calcular a curva PR, é necessário calcular a taxa de precisão e a taxa de recuperação sob diferentes limites de confiança com base nos resultados da previsão do modelo e dos rótulos reais.

Em seguida, a precisão média (AP) desta categoria é calculada de acordo com a curva PR. O AP é calculado integrando a área sob a curva PR, que representa a precisão média do modelo nesta categoria. A faixa de valor do AP está entre 0 e 1, e quanto maior o valor, melhor o desempenho do modelo nesta categoria.

Finalmente, os APs de todas as classes são calculados para obter o mAP. mAP é a média de todos os APs de categoria, que é usado para avaliar de forma abrangente o desempenho do modelo em várias categorias.

Deve-se notar que, ao calcular AP e mAP, um limite IoU específico (como 0,5 ou 0,75) geralmente é usado para julgar a exatidão do resultado da detecção, ou seja, somente quando o IoU entre o quadro de detecção e o quadro real é maior ou igual ao limite, a detecção é considerada O resultado está correto.

O mAP é um dos indicadores de avaliação mais comumente usados ​​na detecção de alvos, que pode considerar de forma abrangente a precisão e a recuperação do modelo em diferentes categorias. Ele fornece uma avaliação geral do desempenho do modelo em todo o conjunto de dados, fornecendo um indicador de desempenho mais abrangente e preciso.

4. AP

4.1 Definição

AP (Average Precision) é um dos indicadores de avaliação comumente usados ​​no campo de detecção de alvos, que é usado para medir o desempenho de algoritmos de detecção em diferentes categorias. O método de cálculo do AP é baseado na curva de recuperação de precisão (curva PR).

Primeiro, para cada categoria, as taxas de precisão e revocação em diferentes limites de confiança são calculadas com base nos resultados de previsão do modelo e nos rótulos verdadeiros. Em seguida, uma curva PR é desenhada com base nesses dados de recordação de precisão.

Na curva PR, com os valores de diferentes taxas de revocação como abcissa e a precisão correspondente como ordenada, uma curva pode ser obtida. O AP é calculado integrando a área sob a curva, ou seja, calculando a área entre a curva PR e o eixo vertical.

A fim de avaliar o desempenho do modelo de forma mais abrangente, os APs em vários limites de confiança são geralmente calculados e esses APs são calculados para obter mAP (precisão média média). O mAP é um dos indicadores de avaliação abrangente mais comumente usados ​​na detecção de alvos, que pode considerar simultaneamente a precisão e a recuperação do modelo em diferentes categorias.

A faixa de valor de AP e mAP está entre 0 e 1, e quanto maior o valor, melhor o desempenho. Quando o AP ou mAP atinge 1, significa que o modelo atinge precisão e revocação perfeitas em todas as categorias.

Deve-se notar que, ao calcular AP e mAP, um limite IoU específico (como 0,5 ou 0,75) geralmente é usado para julgar a exatidão do resultado da detecção, ou seja, somente quando o IoU entre o quadro de detecção e o quadro real é maior ou igual ao limite, a detecção é considerada O resultado está correto.

4.2 Classificação

4.2.1 APs

APs (Average Precision at different scales) é um método de cálculo de Average Precision, que é usado para avaliar o desempenho de algoritmos de detecção de alvos em diferentes escalas.

Na tarefa de detecção de alvo, a escala do objeto alvo pode mudar, como o objeto é menor na distância e maior no próximo. Os métodos tradicionais de cálculo de precisão média (AP) assumem que os objetos de destino têm a mesma importância em todas as escalas, ignorando o impacto das alterações de escala no desempenho da detecção. Para avaliar com mais precisão o desempenho de detecção do modelo em diferentes escalas, o conceito de APs é introduzido.

O método de cálculo dos APs é baseado nas informações de escala da caixa de destino. As etapas específicas são as seguintes:

1. Para cada categoria, todas as caixas de destino são agrupadas de acordo com suas escalas, por exemplo, podem ser agrupadas de acordo com a área das caixas de destino.
2. Para cada grupo de escala, a curva de recuperação de precisão (curva PR) das caixas de objeto neste grupo é calculada. A precisão e o recall aqui são calculados da mesma forma que o método tradicional de cálculo de AP.
3. Dentro de cada grupo de escala, a precisão média (AP) para esse grupo é calculada. Ou seja, a área sob a curva PR do grupo é integrada para se obter o valor de AP.
4. Finalmente, os APs de todos os grupos de escala são calculados para obter APs. APs representa a precisão média do modelo em diferentes escalas.

Ao usar APs para avaliar algoritmos de detecção de objetos, o impacto das mudanças de escala no desempenho pode ser considerado com mais precisão. Ele fornece indicadores de desempenho em diferentes escalas, tornando a avaliação de desempenho do modelo mais abrangente e precisa. Isso é de grande importância para cenários de aplicativos que precisam lidar com objetos multiescala.

4.2.2 APr

APr (Average Precision at different recalls) é um método de cálculo de Average Precision, que é usado para avaliar o desempenho de algoritmos de detecção de alvos sob diferentes taxas de recall.

Na tarefa de detecção de alvo, diferentes cenários de aplicação podem ter requisitos diferentes para a taxa de rechamada. Por exemplo, em algumas cenas, é necessário encontrar todos os objetos-alvo o máximo possível, portanto, mais atenção deve ser dada à alta taxa de recuperação. O método tradicional de cálculo da taxa média de precisão (AP) calcula a média das taxas de precisão em todas as taxas de rechamada, sem considerar o impacto de diferentes taxas de rechamada no desempenho da detecção. Para avaliar com mais precisão o desempenho do modelo sob diferentes taxas de revocação, o conceito de APr é introduzido.

O método de cálculo do APr é baseado nas informações da taxa de rechamada da caixa de destino. As etapas específicas são as seguintes:

1. Para cada categoria, agrupe todas as caixas de objeto de acordo com sua taxa de rechamada, por exemplo, elas podem ser agrupadas de acordo com a taxa de rechamada da caixa de objeto.
2. Para cada grupo de rechamada, calcule a curva de rechamada de precisão (curva PR) para as caixas de objeto desse grupo. A precisão e o recall aqui são calculados da mesma forma que o método tradicional de cálculo de AP.
3. Dentro de cada grupo de recall, calcule a precisão média (AP) para esse grupo. Ou seja, a área sob a curva PR do grupo é integrada para se obter o valor de AP.
4. Finalmente, os APs de todos os grupos de recall são calculados para obter APr. APr representa a taxa média de precisão do modelo sob diferentes taxas de revocação.

Ao usar o APr para avaliar os algoritmos de detecção de objetos, o impacto das alterações na recuperação no desempenho pode ser considerado com mais precisão. Ele fornece indicadores de desempenho em diferentes taxas de recall, tornando a avaliação de desempenho do modelo mais abrangente e precisa. Isso é de grande importância para tarefas de detecção de objetos que precisam equilibrar precisão e recuperação em diferentes cenários de aplicação.

4.2.3 Diferenças entre os dois

APs e APr são dois métodos diferentes de cálculo de precisão média (Precisão Média) para avaliar o desempenho de algoritmos de detecção de alvo em diferentes categorias.

APs (Average Precision at different scales) é um método de cálculo de precisão média baseado em mudanças de escala alvo. Na tarefa de detecção de alvo, a escala do objeto alvo pode mudar, como o objeto é menor à distância e maior ao próximo. Para considerar o impacto dessa mudança de escala no desempenho da detecção, os APs calculam a precisão dos resultados da detecção em diferentes escalas e, em seguida, calculam o valor médio. Isso permite uma avaliação mais abrangente do desempenho de detecção do modelo em diferentes escalas.

APr (Average Precision at different recalls) é um método de cálculo de taxa de precisão média baseado na alteração da taxa de recall. Na tarefa de detecção de alvo, diferentes cenários de aplicação podem ter requisitos diferentes para a taxa de rechamada. Por exemplo, em alguns cenários, uma alta taxa de recuperação pode ser mais importante e é necessário encontrar todos os objetos de destino o máximo possível. Para avaliar o desempenho do modelo sob diferentes taxas de rechamada, o APr calcula a taxa de precisão correspondente definindo diferentes limites de taxa de rechamada e, em seguida, calcula o valor médio.

Em resumo, os APs se concentram no impacto das mudanças na escala do objeto no desempenho da detecção, enquanto o APr se concentra no impacto das mudanças na taxa de rechamada no desempenho da detecção. Esses dois métodos podem avaliar de forma mais abrangente o desempenho dos algoritmos de detecção de objetos em alguns cenários específicos.