[Paper Express] WACV2023 - Segmentation d'images médicales de petit échantillon avec une attention similaire cyclique

[Paper Express] WACV2023 - Segmentation d'images médicales de petit échantillon avec une attention similaire cyclique

【Texte original】 : Segmentation d'images médicales à quelques prises de vue avec attention à la ressemblance du cycle

获取地址：https://arxiv.org/pdf/2212.03967.pdf

Mots-clés de blogueur : apprentissage par petits échantillons, segmentation sémantique, auto-supervision, prototype

Documents connexes recommandés :

【论文速递】PR2023 - 基于自正则原型网络的小样本语义分割
- https://blog.csdn.net/qq_36396104/article/details/128822068

Résumé:

Ces dernières années, en raison de l'amélioration continue des exigences des applications d'imagerie médicale et des exigences professionnelles en matière d'annotation d'images médicales, l'apprentissage de petits échantillons a attiré de plus en plus d'attention dans le domaine de la segmentation sémantique des images médicales. Pour segmenter un nombre limité d'images médicales étiquetées, la plupart des études existantes utilisent des réseaux prototypes (RP) avec un succès impressionnant. Cependant, ces méthodes ignorent les caractéristiques de l'image de requête extraites du réseau de représentation proposé et ne parviennent pas à préserver la connexion spatiale entre la requête et les images de support. Dans cet article, nous proposons un nouveau réseau de segmentation d'images médicales auto-supervisé et introduisons un nouveau module d'attention de similarité récurrente (ARC) pour exploiter pleinement la relation au niveau du pixel entre la requête et les images médicales de support. Notamment, nous organisons d'abord plusieurs blocs d'attention pour distiller des informations relationnelles plus riches. Nous présentons ensuite CRAPNet en intégrant le module CRA aux réseaux prototypiques classiques, où les relations au niveau des pixels entre les fonctionnalités de requête et de support sont bien capturées pour la segmentation. Des expériences approfondies sur deux ensembles de données d'images médicales différents, tels que l'IRM abdominale et la tomodensitométrie abdominale, démontrent que notre modèle surpasse les méthodes de pointe existantes.

Introduction:

La segmentation sémantique, tâche fondamentale en vision par ordinateur, a connu ces dernières années un succès impressionnant grâce à l'essor des données annotées. En tant que tel, il ouvre la voie à de nouvelles applications réelles de segmentation d'images médicales qui peuvent aider les médecins à diagnostiquer plus rapidement les maladies, à planifier les traitements et à mieux les dispenser. Pour traiter efficacement des images médicales à grande échelle, différentes des images générales, un étiquetage précis et professionnel est particulièrement important. Cependant, étiqueter une si grande quantité de données prend du temps et nécessite beaucoup de connaissances [21, 5, 13, 19, 4]. Par conséquent, dans le domaine de l'imagerie médicale, l'apprentissage en quelques prises de vue [32, 34, 16, 41] attire de plus en plus l'attention des chercheurs en raison de son avantage significatif de ne pas nécessiter beaucoup de données étiquetées. Plus précisément, des représentations discriminatives peuvent être extraites d'un ou plusieurs exemples annotés au niveau du pixel (données de support) pour obtenir une prédiction d'étiquette au niveau du pixel pour des exemples non annotés (données de requête). De plus, par rapport aux images généralement stockées dans des formats 2D, les images médicales sont généralement des images 3D hautement structurées d'organes humains et de régions du torse dans diverses modalités telles que l'IRM (imagerie par résonance magnétique), les États-Unis (échographie), la tomodensitométrie (tomodensitométrie) et x -rayon [1,24,20,29,6,35,15]. Les régions d'intérêt dans les images médicales sont généralement petites et uniformes, tandis que les arrière-plans non pertinents sont assez étendus et non uniformes [40, 34]. Dans les images médicales, un grand nombre de petites cellules, tissus et organes sont souvent entassés, ce qui rend difficile la distinction entre le premier plan et l'arrière-plan.

Fig. 1. Figure 1 : (a) Prototype de réseau de mutualisation classique. Les prototypes sont générés en extrayant d'un pool de fenêtres de fonctionnalités de support. (b) Insérez notre module proposé d'attention à la similarité cyclique (ARC) avant l'étape de mise en commun pour intégrer les fonctionnalités de support et les fonctionnalités de requête via une attention au niveau des pixels afin d'améliorer la relation spatiale entre elles. De plus, des prototypes sont introduits pour guider la prédiction des masques de requête.

Les techniques existantes de segmentation d'images à quelques clichés peuvent être largement classées en apprentissage par affinité et apprentissage par prototype en fonction de la manière dont le masque binaire prédictif est généré [16]. Ces derniers conçoivent des réseaux prototypes [32, 17, 41, 34, 38, 16] et génèrent des prototypes généralisés et robustes au bruit. Comme le montre la figure 1(a), les caractéristiques de l'image de support sont affinées par le masque de support et introduites dans le module de mise en commun pour obtenir des prototypes. Enfin, les prototypes sont combinés avec des fonctionnalités de requête (par exemple, des jointures) qui emploient des opérations courantes. Malgré les bonnes performances des méthodes basées sur des prototypes, il existe encore quelques inconvénients. (i) Ces méthodes perdent inévitablement les informations spatiales des images de support, en particulier lorsqu'il y a un grand changement dans l'apparence de l'objet entre l'image de support et l'image de requête en raison de trop ou trop peu de prototypes [16]. (ii) La relation entre différentes classes dans une image est essentielle pour prendre des décisions de segmentation sur l'image de requête, qui est ignorée par les méthodes actuelles. (iii) Les réseaux prototypes actuels n'accordent pas suffisamment d'attention à l'interaction entre les fonctionnalités de support et les fonctionnalités de requête pendant la phase de formation. Cette interaction insuffisante se traduira par l'incapacité de générer des prototypes pleinement représentatifs. Cependant, étant donné que l'image de requête et l'image de support ont plus de similitudes en premier plan et en arrière-plan, cette interaction est cruciale dans les tâches de segmentation d'image. En particulier dans le contexte des images médicales, la disposition des différents objets suit souvent un schéma similaire entre les images de requête et de support.

Pour résoudre les problèmes susmentionnés, dans cet article, nous proposons une nouvelle méthode de segmentation d'images médicales à quelques clichés avec un mécanisme d'attention de similarité récurrent, comme le montre la figure 1 (b). Nous introduisons principalement un nouveau réseau de prototypes d'attention de similarité récurrente (CRAPNet) pour capturer pleinement les détails intrinsèques des objets et préserver les informations spatiales entre les pixels de l'image de requête et de l'image de support. Comme le montre la figure 2, nous ne donnons pas de biais supplémentaire B en vérifiant si des paires appariées de pixels cohérents en période appartiennent à la même classe, mais comparons similarité entre ces paires de pixels. De cette manière, nous construisons une connexion support-requête-support et combinons la relation entre un pixel et ses "voisins" les plus similaires pour obtenir des prototypes. De plus, en approfondissant les différences entre les images médicales de support et d'interrogation, nous soutenons que l'interrogation et les images de support peuvent être vues spécifiquement comme des séquences vidéo interrompues ou des flux d'images si les objets sont hautement structurés et organisés. Par conséquent, nous concevons un module de similarité périodique pour calculer une somme pondérée sur un emplacement de pixel donné en tant qu'opération non locale pour les fonctionnalités de support et les fonctionnalités de requête de structures non locales. Dans un sens, cette structure non native peut être intégrée dans un bloc de réseau qui peut être chaîné et utilisé comme module d'insertion. Ensuite, sur la base des modules ci-dessus, la branche de support et la branche de requête sont conçues, et la connexion entre elles est décrite de manière interactive.

Les contributions de cet article peuvent être résumées comme suit :

• À notre connaissance, il s'agit de la première tentative d'aborder les tâches de segmentation d'images médicales en concevant un cycle - similarity Attention Prototype Network (CRAPNet) qui préserve la corrélation spatiale entre les caractéristiques de l'image et l'intègre avec succès dans le réseau de prototypes traditionnel.
• Un nouveau bloc non local avec des modules de similarité récurrents intégrés est proposé, qui peuvent être chaînés et utilisés comme modules d'insertion.
• Des expériences approfondies sur deux ensembles de données d'imagerie médicale différents tels que l'IRM abdominale et la TDM abdominale démontrent l'efficacité de notre méthode proposée.

Fig. 2. Figure 2 : (a) Les caractéristiques extraites par le réseau fédérateur sont d'abord entrées dans les 5 blocs d'attention de requête pris en charge de chaque branche, où les blocs d'attention g, φ, θ sont des opérations de convolution 1 × 1 × 1. Le module CRM entre θ et φ utilise le mécanisme de similarité de cycle. (b) la similarité de cycle calcule d'abord la multiplication matricielle entre la carte de caractéristiques de support et la carte de caractéristiques de requête après la convolution φ et σ. Ensuite, pour un pixel i dans la carte des fonctionnalités de support, le pixel j* le plus similaire est trouvé dans la fonctionnalité de requête via la matrice de recherche. Pour j*, le pixel i* le plus similaire peut également être trouvé. Enfin, la similarité cosinusoïdale entre les caractéristiques x is et xi*s est calculée, et le poids du pixel i est renvoyé à l'aide de la fonction softmax.

【Papier Express | En vedette】

Adresse du forum : https://bbs.csdn.net/forums/paper