Graph Neural Network (GNN) est un type de modèle de réseau neuronal spécialement conçu pour les données structurées en graphes, et a obtenu de bons résultats dans des domaines tels que l'analyse des réseaux sociaux et les graphes de connaissances. Récemment, des chercheurs concernés ont effectué de nombreuses recherches sur l'interprétabilité, la recherche d'architecture et l'apprentissage contrastif de GNN.
Cette semaine, 10 excellents articles dans le domaine GNN ont été sélectionnés, provenant de l'UCLA, de l'Université Tsinghua, d'Amazon et d'autres institutions.
Pour faciliter la lecture de tous, seuls le titre de l'article, l'auteur, le résumé de ChatPaper et d'autres informations sont répertoriés. Si vous êtes intéressé, vous pouvez copier le lien pour afficher le texte original, la synchronisation des données côté PC (la collecte peut être affichés côté PC), et les nouveaux journaux quotidiens peuvent également se connecter à la petite page.
Page d'utilisation de ChatPaper : https://www.aminer.cn/chat/g/
1. Encodeur de position et de structure graphique
Joueurs : Renming Liu, Semih Cantürk, Olivier Lapointe-Gagne, Vincent Letourneau, Guy Wolf, Dominique Beaini, Ladislav Rampašek
Lien : https://www.aminer.cn/pub/64b4bd093fda6d7f0654f4a3/
Examen de ChatPaper : cet article présente une nouvelle méthode appelée "Graph Positional and Structural Encoder", qui est un encodeur pour la position et la structure du graphique. Les méthodes d'encodage de graphe traditionnelles sont généralement basées sur l'importance ou les étiquettes des nœuds, mais ces méthodes d'encodage ne sont souvent applicables qu'à des tâches de graphe spécifiques. GPSE, d'autre part, peut capturer des informations riches sur la position et la structure du graphique, et possède de fortes capacités d'évolutivité et de généralisation. GPSE décompose le graphique en nœuds et arêtes, et utilise les vecteurs caractéristiques des nœuds et des arêtes pour représenter les informations de position et de structure des nœuds et des arêtes. Ces vecteurs de caractéristiques peuvent être appris en entraînant un réseau de neurones. La méthode de codage de GPSE a une forte capacité de généralisation et peut bien fonctionner sur différentes tâches graphiques et ensembles de données. Sur une gamme de points de référence, les modèles améliorés par GPSE atteignent des performances exceptionnelles sur certaines tâches, tandis que dans certains cas, leurs performances sont comparables aux modèles utilisant des méthodes de codage de position et de structure de graphe explicitement calculées. La mise en œuvre de GPSE fournit une option viable pour développer de grands modèles pré-entraînés qui peuvent être utilisés pour extraire des informations sur l'emplacement et la structure des graphes et peuvent remplacer les méthodes d'encodage de l'emplacement et de la structure des graphes calculées explicitement ainsi que les méthodes de pré-apprentissage auto-supervisées existantes.
2.Convolutions de graphes découplés différentiellement privés pour la protection de la topologie multigranulaire
Sujets : Eli Chien, Wei-Ning Chen, Chao Pan, Pan Li, Ayfer Özgür, Olgica Milenkovic
Lien : https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b434b0/
Revue ChatPaper : Cet article présente un algorithme de convolution de graphe découplé différentiellement privé pour protéger la topologie multigrain. Les méthodes traditionnelles de confidentialité différentielle ne sont pas suffisamment efficaces pour protéger les paramètres et les prédictions du modèle, en particulier lors de l'utilisation d'algorithmes de convolution de graphe pour les prédictions de nœuds, ce qui générera des risques supplémentaires de fuite de confidentialité. Par conséquent, cet article propose un nouveau cadre de confidentialité différentielle appelé Graph Differential Privacy (GDP) spécifiquement pour les scénarios d'apprentissage de graphes afin de garantir à la fois des paramètres de modèle et des prédictions prouvablement privés. De plus, étant donné que les attributs de nœud et les structures de graphe peuvent avoir des exigences de confidentialité différentes, cet article propose un nouveau concept de contiguïté des données de nœud assouplies. Cet assouplissement peut être utilisé pour établir différents niveaux de garanties de confidentialité de topologie de graphe tout en maintenant la confidentialité des attributs de nœud. Il est important de noter que cette relaxation fournit un compromis utile entre la confidentialité et la confidentialité topologique pour les méthodes d'apprentissage de graphes. En outre, cet article analyse également le PIB et constate que les DP-GNN existants ne peuvent pas exploiter ce compromis, car l'interaction complexe entre les conceptions convolutives de graphes standard interfère avec ce compromis. Pour résoudre ce problème, cet article propose le modèle de convolution de graphe découplé différentiellement privé (DPDGC), qui bénéficie de la convolution de graphe découplé et fournit des garanties de PIB. Des expériences approfondies utilisant des ensembles de données de référence de classification à sept nœuds démontrent que DPDGC surpasse les DP-GNN existants basés sur des conceptions de convolution de graphe standard.
3.Apprentissage automatisé de filtres polynomiaux pour les réseaux de neurones graphiques
Auteurs : Wendi Yu, Zhichao Hou, Xiaorui Liu
Lien : https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaea4a/
Examen de ChatPaper : cet article présente un cadre d'apprentissage automatique de filtres de graphes polynomiaux appelé "Auto-Polynomial" pour améliorer les performances des réseaux de neurones de graphes (GNN). Les filtres de graphes polynomiaux traditionnels ont joué un rôle important dans la conception et l'optimisation des GNN, mais ces dernières années, les méthodes d'apprentissage adaptatif des filtres de graphes polynomiaux ont montré de bonnes performances dans la gestion des signaux de graphes homogènes et hétérogènes en raison de leur flexibilité et de leur expressivité. Cependant, les méthodes d'apprentissage de filtres de graphes polynomiaux souffrent encore de sérieux problèmes de surajustement. Par conséquent, cet article propose le cadre Auto-Polynomial, un nouveau cadre général pour l'apprentissage automatique de filtres de graphes polynomiaux qui peut apprendre efficacement de meilleurs filtres pour divers signaux de graphes complexes. Des expériences complètes et des études d'ablation montrent que l'approche auto-polynomiale améliore considérablement les performances des GNN dans plusieurs scénarios d'apprentissage tout en tenant compte de diverses échelles d'étiquettes. Ce travail révèle le potentiel de l'apprentissage par filtre polynomial et ouvre la porte à une optimisation plus efficace et plus précise des GNN.
4. Apprentissage des quartiers adaptatifs pour les réseaux de neurones graphiques
Auteur : Avishkar Saha, Oscar Mendez, Chris Russell, Richard Bowden
Lien : https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee36a/
Revue de ChatPaper : Cet article propose un nouvel algorithme appelé "Adaptive Neighbor Selection" pour apprendre et sélectionner de manière adaptative les voisins dans les réseaux de neurones de graphes. Les méthodes traditionnelles de réseau neuronal convolutionnel de graphe (GCN) supposent généralement que la structure du graphe d'entrée est donnée et doivent construire ou apprendre une structure de graphe cachée à partir de données bruyantes ou manquantes. Cependant, cette approche peut entraîner un degré de nœud fixe pour l'ensemble du graphe, ce qui est sous-optimal. Au lieu de cela, cet article propose un nouveau générateur de graphes différentiables de bout en bout qui construit des topologies de graphes où chaque nœud peut choisir ses voisins et sa taille. Ce module peut être facilement intégré dans n'importe quel pipeline existant impliquant des opérations de convolution de graphe et remplace les matrices d'adjacence prédéfinies ou existantes pour l'optimisation de l'apprentissage dans le cadre de l'objectif global. Par conséquent, cette méthode est applicable à tout GCN. Dans cet article, nous intégrons notre module dans les pipelines de prédiction de trajectoire, de classification de nuages de points et de classification de nœuds, et montrons que notre algorithme améliore la précision par rapport à d'autres méthodes d'apprentissage structurel sur une large gamme d'ensembles de données et de réseaux fédérateurs GCN.
5.Modèle de diffusion autorégressif pour la génération de graphes
Auteurs : Lingkai Kong, Jiaming Cui, Haotian Sun, Yuchen Zhuang, B. Aditya Prakash, Chao Zhang
Lien : https://www.aminer.cn/pub/6433f67190e50fcafd6d6071/
Revue ChatPaper : Cet article propose une méthode de génération de graphes appelée "Modèle de Diffusion Autorégressif". Différent des méthodes existantes de génération de primitives de diffusion, ce modèle définit un processus nodal d'absorption-diffusion dans un espace de graphe discret. Pour la diffusion directe, le modèle conçoit un réseau d'ordre de diffusion qui apprend un ordre d'absorption de nœud dépendant des données à partir de la topologie du graphe. Pour la génération inverse, le modèle conçoit un réseau de débruitage qui utilise l'ordre inverse des nœuds pour reconstruire efficacement le graphe tout en prédisant le type des nouveaux nœuds et leurs arêtes aux nœuds débruités. Basé sur l'invariance de permutation des graphes, les deux réseaux de ce modèle peuvent être formés simultanément pour optimiser la faible vraisemblance des données. Des expériences sur six ensembles de données de graphes généraux différents et deux ensembles de données moléculaires montrent que le modèle surpasse ou correspond aux méthodes de pointe précédentes tout en étant très rapide à générer.
6. Des marches aléatoires aux sprints de graphes : un cadre d'intégration de nœuds à faible latence sur des graphes dynamiques en temps continu
Avec : Ahmad Naser Eddin, Jacopo Bono, David Aparício, Hugo Ferreira, João Ascensão, Pedro Ribeiro, Pedro Bizarro
Lien : https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaec36/
Revue ChatPaper : cet article traite des méthodes d'intégration de nœuds à faible latence dans les graphes dynamiques en temps continu (CTDG). De nombreux ensembles de données du monde réel sont livrés avec des structures de graphes dynamiques, où les entités et leurs interactions évoluent au fil du temps. Pour exploiter pleinement le potentiel de ces ensembles de données, les modèles d'apprentissage automatique doivent tenir compte de ces dynamiques. Les méthodes précédentes d'apprentissage de représentation de graphes incluent l'échantillonnage de voisins k-hop ou de marches aléatoires, mais ces méthodes sont trop coûteuses pour une inférence à faible latence sur des graphes dynamiques. Pour résoudre ce problème, l'article propose le cadre "graph-sprints", un cadre général d'extraction de caractéristiques qui permet une inférence à faible latence sur des graphes dynamiques en temps continu, et les compare avec des modèles à latence élevée de pointe. Pour y parvenir, l'article propose une méthode d'approximation des caractéristiques de marche aléatoire en continu à faible latence. Dans notre cadre, les intégrations de nœuds sensibles au temps résument les informations multi-sauts, ne nécessitant que des opérations à un seul saut pour analyser les bords d'entrée. Nous effectuons des évaluations sur trois ensembles de données open source et deux propres ensembles de données, et comparons avec trois algorithmes de pointe (TGN-attn, TGN-ID et Jodie). Nos résultats montrent que notre fonctionnalité "graph sprint" combinée à un classificateur d'apprentissage automatique peut atteindre d'excellentes performances (surpassant tous les benchmarks dans la tâche de classification de nœuds sur cinq ensembles de données), tout en atteignant une accélération de près d'un ordre de grandeur en vitesse d'inférence.
7.GraphCL-DTA : un apprentissage contrastif graphique avec sémantique moléculaire pour la prédiction de l'affinité de liaison médicament-cible
Auteurs : Xinxing Yang, Genke Yang, Jian Chu
Lien : https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee2f9/
Revue ChatPaper : Cet article présente un modèle appelé GraphCL-DTA pour prédire les affinités de liaison médicament-cible. Aux premiers stades de la découverte de médicaments, le modèle peut être utilisé pour déduire la force des interactions entre les nouveaux médicaments et les cibles. Les modèles informatiques traditionnels ne reposent que sur des données supervisées lors de l'apprentissage des représentations de médicaments, tout en ignorant les informations contenues dans le graphe moléculaire lui-même. De plus, la plupart des études précédentes conçoivent des modules d'apprentissage de représentation complexes tout en ignorant les mesures de cohérence pour mesurer la qualité de la représentation. Pour résoudre ces problèmes, cet article propose le modèle GraphCL-DTA, qui est un modèle d'apprentissage contextuel basé sur des graphes moléculaires pour l'apprentissage des représentations de médicaments. Grâce au modèle GraphCL-DTA, les informations sémantiques du graphe moléculaire peuvent être préservées. Avec ce modèle, des représentations de médicaments plus efficaces peuvent être apprises sans données supervisées supplémentaires. En outre, l'article conçoit une nouvelle fonction de perte qui peut être directement utilisée pour ajuster en douceur la cohérence des représentations des médicaments et des cibles. La qualité des représentations des médicaments et des cibles peut être améliorée en optimisant directement la cohérence des représentations. Le modèle fonctionne bien sur deux jeux de données réels KIBA et Davis, montrant qu'il surpasse les modèles de pointe.
8. Filtrage collaboratif des graphiques sensibles à la netteté
Auteurs : Huiyuan Chen, Chin-Chia Michael Yeh, Yujie Fan, Yan Zheng, Junpeng Wang, Vivian Lai, Mahashweta Das, Hao Yang
Lien : https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee278/
Revue de ChatPaper : Cet article présente une méthode appelée "Sharpness-Aware Graph Collaborative Filtering", qui utilise un réseau neuronal de graphes (GNN) pour le filtrage collaboratif. Les GNN ont tendance à mal fonctionner lorsque les distributions des données de formation et de test sont incohérentes. De plus, la formation des GNN nécessite l'optimisation des réseaux de neurones non convexes, où il existe un grand nombre de minima locaux et globaux, et leurs performances au moment du test peuvent varier considérablement. Par conséquent, le choix d'une valeur minimale appropriée est essentiel. L'article propose un cadre de formation efficace appelé gSAM, basé sur le principe que les minima plus plats ont de meilleures capacités de généralisation, tandis que les minima plus précis sont moins adaptés à la formation. gSAM supervise la planéité de l'espace de perte de poids en formant une optimisation en deux étapes, la question externe effectue une formation de modèle standard et la question interne aide le modèle à sortir des minima nets. Les résultats expérimentaux montrent que gSAM a la supériorité.
9. Démêler les attributs de nœud de la topologie graphique pour une généralisabilité améliorée dans la prédiction de lien
Crédits :Ian Chatterjee, Robin Walters, Giulia Menichetti, Tina Eliassi-Rad
Lien : https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee243/
Revue de ChatPaper : l'article étudie les tâches de prédiction de liens dans l'apprentissage automatique des graphes et explore la relation entre les attributs de nœud et la topologie des graphes. Des études ont montré que l'intégration d'attributs de nœuds pré-formés dans des modèles de prédiction de liens peut améliorer la capacité de généralisation du modèle. L'auteur propose une méthode appelée UPNA (Unsupervised Pre-training of Node Attributes) pour résoudre le problème de prédiction de lien induit. L'UPNA prédit les probabilités de bord en apprenant une paire d'attributs de nœud, plutôt que d'être sujet à un court-circuit topologique dans les graphiques avec des distributions de degrés régularisées comme les GNN. De cette manière, UPNA apprend une partie du mécanisme caché de génération de graphe, puisque les fonctionnalités apprises peuvent être utilisées pour ajouter des nœuds entrants au graphe croissant. En utilisant des attributs de nœud pré-entraînés, UPNA surmonte le biais d'observation et fait des prédictions significatives pour les nœuds non observés, atteignant des performances de pointe (amélioration de 3X à 34X) sur des ensembles de données de référence. L'UPNA peut être appliquée à diverses tâches d'apprentissage double et peut être intégrée aux modèles de prédiction de liens existants pour améliorer leur capacité de généralisation et renforcer les modèles de génération de graphes.
10.Apprentissage curriculaire pour les réseaux de neurones graphiques : une approche multivue basée sur les compétences
作宇：Nidhi Vakil, Hadi Amiri
Lien : https://www.aminer.cn/pub/64ae66e83fda6d7f068496fc/
ChatPaper Review: Cet article vise à résoudre le problème de l'apprentissage du curriculum dans les réseaux de neurones de graphes. L'apprentissage par programme fait référence à la séquence planifiée de matériel d'apprentissage selon certains, rendant l'apprentissage plus efficace et plus efficace pour les humains et les machines. Des recherches récentes ont mis au point des méthodes efficaces d'apprentissage de programmes d'études axées sur les données pour la formation de réseaux de neurones de graphes dans des applications linguistiques. Cependant, les méthodes d'apprentissage du curriculum existantes n'utilisent généralement qu'un seul critère de difficulté pendant la formation. Cet article propose une nouvelle perspective sur l'apprentissage curriculaire en introduisant une formalisation de la complexité des graphes (comme critère de difficulté) et la notion de capacité du modèle à construire l'apprentissage curriculaire. Le modèle comprend un schéma de planification pour déterminer des cours efficaces en tenant compte de la difficulté de l'échantillon et de différentes vues de la capacité du modèle pendant la formation. La solution proposée a encore développé des capacités dans la recherche d'apprentissage de programmes de réseaux neuronaux de graphes, qui peuvent prendre en compte des critères de difficulté de graphe raffinés pendant la formation. Les résultats expérimentaux sur les tâches de prédiction de liens et de classification de nœuds dans le monde réel démontrent l'efficacité de la méthode proposée.