L'apprentissage supervisé en apprentissage automatique comprend principalement des problèmes de classification et des problèmes de régression, et les problèmes de classification binaire sont à la base des problèmes de multi-classification.
Pour les problèmes de classification binaire, lors de la mesure des performances prédictives du modèle sur l'ensemble de données de test, des indicateurs tels que la précision (exactitude), le rappel (taux de rappel) et le score F1 (valeur F1) sont souvent sélectionnés.
Pour le problème de classification binaire, les échantillons peuvent être divisés en fonction de leur vraie catégorie et de la catégorie de prédiction du classificateur :
Vrai positif (TP) : le nombre d'échantillons dont la vraie catégorie est un exemple positif et la catégorie prédite est un exemple positif.
Faux positif (faux positif, FP) : le nombre d'échantillons dans lesquels la catégorie réelle est un exemple négatif et la catégorie prédite est un exemple positif.
Faux négatif (FN) : le nombre d'échantillons dans lesquels la catégorie réelle est un exemple positif et la catégorie prédite est un exemple négatif.
Vrai négatif (TN) : le nombre d'échantillons dans lesquels la catégorie réelle est un exemple négatif et la catégorie prédite est un exemple négatif.
La matrice de confusion est présentée dans le tableau suivant :
Pour les problèmes de multi-classification, il faut utiliser la "macro-moyenne" (macro-moyenne) et la "micro-moyenne" (micro-moyenne) de ces indicateurs.
La macro-moyenne (Macro-moyenne) consiste à compter d'abord les valeurs d'indice P, R et F1 pour chaque classe, puis à calculer la moyenne arithmétique pour toutes les classes.
Il convient de mentionner que si vous souhaitez obtenir les valeurs d'indice statistiques P, R et F1 d'une certaine classe, vous devez calculer les TP, FP, FN et TN de cette classe, et vous devez en tenir compte. classe en tant que classe positive et toutes les autres classes en tant que classe négative. Classe (c'est-à-dire convertir la multi-classification en n classifications binaires, c'est-à-dire un contre tous, également connu sous le nom de un contre reste, où n est le nombre de cours).
Selon la référence 1, macro_F1 a un autre dicton :
Après recherche, j'ai trouvé qu'il y a des grands gars sur Zhihu qui ont spécifiquement trouvé les papiers sur macro_F1 avec les deux définitions ci-dessus (document 2). À l'heure actuelle, la définition de macro_F1 comme moyenne arithmétique de F1 de chaque catégorie est la norme, et elle est également utilisée dans sklearn. Certaines personnes ont mentionné dans les commentaires du document 2 qu'il existe des articles (https://arxiv.org/ pdf/1911.03347.pdf) Il montre que la macro_F1 définie par la moyenne arithmétique est plus robuste, et les étudiants intéressés peuvent l'étudier. Bien sûr, dans certaines occasions où la méthode de calcul est limitée (comme les compétitions), la macro_F1 à utiliser dépend de la situation réelle.
Combiné avec l'exemple du Document 2, je vous explique que dans le cas de la multi-classification, pour calculer les TP, FP, FN et TN d'une certaine classe, cette classe doit être considérée comme une classe positive, et toutes les autres classes sont considérés comme des classes négatives. Voici un exemple de calcul des P et R de la classe chat :
La micro-moyenne (Micro-average) consiste à calculer le TP, FP, TN, FN global du jeu de données (le nombre d'échantillons TP, FP, TN, FN correspondant aux catégories 1, 2, 3... sont additionnés respectivement, et de manière similaire, le nombre de ces échantillons est calculé en convertissant plusieurs classifications en n classifications binaires, c'est-à-dire un contre tous), en établissant une matrice de confusion globale, puis en calculant les indicateurs correspondants.
Le document 3 donne un exemple de calcul de micro-moyenne, la capture d'écran est la suivante :
Les références:
- Parlez de la moyenne macro et de la moyenne micro dans les indicateurs d'évaluation
https://www.cnblogs.com/robert-dlut/p/5276927.html - L'histoire de deux Macro-F1
https://zhuanlan.zhihu.com/p/492625916 - La différence et le principe de calcul entre F1-micro et F1-macro dans sklearn
https://blog.csdn.net/lyb3b3b/article/details/84819931