Auteur : Yu Fan
arrière-plan
En regardant l’histoire du développement de l’architecture des réseaux neuronaux, nous pouvons constater que la symétrie a toujours joué un rôle caché et central, et que l’apprentissage profond géométrique met en évidence l’importance de la symétrie. D'une part, dans les domaines de la vision par ordinateur traditionnelle et du traitement du langage naturel, nous avons constaté que l'architecture réseau basée sur Transformer a obtenu des résultats étonnants ces dernières années. En revanche, en tant que premier principe, la symétrie joue un rôle important dans les sciences naturelles. Nous avons donc des raisons de croire que, du point de vue de la symétrie, l’apprentissage profond géométrique jouera un rôle important dans la combinaison de l’intelligence artificielle et de la science.
Figure 1 : La combinaison de l’apprentissage profond géométrique dans les domaines de l’intelligence artificielle et de la science
En fait, l’apprentissage profond de la géométrie a obtenu des résultats impressionnants dans le domaine de l’IA pour la science et jouera un rôle de plus en plus important. Alphafold2, basé sur les réseaux de neurones graphiques et Transformer, fait preuve d'une très grande précision dans la prédiction des structures protéiques. Dans la prédiction et la génération de structures de petites molécules, l'ajout d'une symétrie supplémentaire de transformation de corps rigide (groupe de symétrie E (3)) dans l'espace euclidien au réseau neuronal du graphe peut améliorer considérablement la précision des calculs et réduire la complexité de la formation. Dans la prévision météorologique mondiale, étant donné que la surface de la Terre est une sphère bidimensionnelle, cela implique des problèmes tels que la convolution sur la transformation de spécification de variété et de coordonnées. L'apprentissage géométrique profond fournit un cadre théorique systématique pour la conception de réseaux neuronaux. En cosmologie, l’espace et le temps sont courbés en raison de la gravité, et l’apprentissage géométrique profond fournit une base théorique pour la combinaison de cette structure multiple riemannienne courbe et de l’IA.
En revanche, dans les domaines scientifiques fondamentaux, tels que la physique de la matière condensée et la physique quantique, le degré d’intégration avec l’IA n’est pas encore profond. En effet, dans ces domaines, les connaissances théoriques systématiques humaines sont relativement bien développées, mais il est très difficile d’obtenir des données de haute qualité. Par conséquent, il est particulièrement crucial de savoir comment « injecter » les connaissances connues dans les réseaux neuronaux et améliorer l’utilisation des données .
Les réseaux de neurones équivariants de groupe ont montré des avantages surprenants dans l'amélioration de l'utilisation des données. Par exemple, dans la tâche de classification de Tetris tridimensionnel, il existe un total de 8 configurations. L'approche traditionnelle nécessite une grande rotation spatiale de chaque configuration de données pour l'amélioration des données, ce qui augmente sans aucun doute considérablement la quantité de données et la complexité de la formation, et ne peut garantir l'exactitude de sa prédiction. Dans le réseau neuronal équivariant E(3), chaque configuration ne nécessite qu'une seule donnée, voire moins si les deux configurations peuvent être connectées via une transformation E(3). Tout en réduisant considérablement la quantité de données requises , sa précision de prédiction est garantie au niveau théorique. En même temps, ce réseau neuronal a une meilleure interprétabilité et des capacités d'expression .
Parmi toutes les connaissances connues, la symétrie est un type de connaissance profond et fondamental, et elle est également la clé pour expliquer les lois de la nature. Par exemple, l'espace-temps des particules de haute énergie a une symétrie de groupe de Lorentz (groupe SO (1, 3)), et les réseaux neuronaux équivariants du groupe de Lorentz peuvent jouer un rôle important dans la physique des hautes énergies à l'avenir. La physique moderne est décrite à l'aide de la théorie des champs, et le langage mathématique qui la sous-tend est également la géométrie différentielle et les faisceaux de fibres. Il est prévisible que l'apprentissage profond de la géométrie jouera un rôle de premier plan dans la combinaison de la physique moderne et de l'intelligence artificielle.
Pour le grand modèle AI for Science, basé sur l'apprentissage profond géométrique, nous pouvons faire une idée simple et audacieuse : apprendre d'abord la symétrie du système d'entrée via une sorte de réseau neuronal, comme l'apprentissage de la méthode d'algèbre de Lie du groupe de symétrie [ 3] ; puis via Un certain mécanisme contrôle la force de diverses symétries, permettant au réseau de choisir quel groupe de symétrie du réseau équivariant utiliser, afin que le réseau puisse satisfaire la symétrie approximative du système d'entrée. Bien sûr, il est fort probable que les futurs modèles à grande échelle ne seront pas aussi simples, et ils sont également remplis de problèmes qui restent encore à résoudre. Nous espérons voir de nouveaux progrès dans cette direction à l'avenir.
Figure 2 : Algèbre de Lie du groupe SO(2) de données d'apprentissage L-conv
les références
[1] Bronstein, Michael M. et coll. "Apprentissage profond géométrique : grilles, groupes, graphiques, géodésiques et jauges." Préimpression arXiv arXiv :2104.13478 (2021).
[2] Weiler, Maurice et al. "Coordonner les réseaux convolutionnels indépendants - Convolutions équivariantes d'isométrie et de jauge sur les variétés riemanniennes." Préimpression arXiv arXiv :2106.06020 (2021).
[3] Dehmamy N, Walters R, Liu Y et al. Découverte automatique de symétrie avec réseau convolutif d'algèbre de Lie [J]. Avancées des systèmes de traitement de l’information neuronale, 2021, 34 : 2503-2515.
Un programmeur né dans les années 1990 a développé un logiciel de portage vidéo et en a réalisé plus de 7 millions en moins d'un an. La fin a été très éprouvante ! Google a confirmé les licenciements, impliquant la « malédiction des 35 ans » des codeurs chinois des équipes Flutter, Dart et . Python Arc Browser pour Windows 1.0 en 3 mois officiellement la part de marché de GA Windows 10 atteint 70 %, Windows 11 GitHub continue de décliner l'outil de développement natif d'IA GitHub Copilot Workspace JAVA. est la seule requête de type fort capable de gérer OLTP+OLAP. C'est le meilleur ORM. Nous nous rencontrons trop tard.