Graph Neural Network (GNN) es un tipo de modelo de red neuronal especialmente diseñado para datos estructurados en grafos, y ha obtenido buenos resultados en campos como el análisis de redes sociales y los grafos de conocimiento. Recientemente, investigadores relevantes han investigado mucho sobre la interpretabilidad, la búsqueda de arquitectura y el aprendizaje contrastivo de GNN.
Esta semana, se seleccionaron 10 artículos excelentes en el campo GNN, de UCLA, la Universidad de Tsinghua, Amazon y otras instituciones.
Para la conveniencia de que todos lean, solo se enumeran el título del artículo, el autor, el resumen de ChatPaper y otra información. Si está interesado, puede copiar el enlace para ver el texto original, la sincronización de datos del lado de la PC (la recopilación puede ser vista en el lado de la PC), y los nuevos periódicos diarios también pueden iniciar sesión en la vista del programa.
Página de uso de ChatPaper: https://www.aminer.cn/chat/g/
1. Codificador posicional y estructural gráfico
Intérpretes: Renming Liu, Semih Cantürk, Olivier Lapointe-Gagne, Vincent Letourneau, Guy Wolf, Dominique Beaini, Ladislav Rampašek
Enlace: https://www.aminer.cn/pub/64b4bd093fda6d7f0654f4a3/
Revisión de ChatPaper: este documento presenta un nuevo método llamado "Codificador estructural y posicional de gráficos", que es un codificador para la posición y la estructura de los gráficos. Los métodos de codificación de gráficos tradicionales generalmente se basan en la importancia o las etiquetas de los nodos, pero estos métodos de codificación a menudo solo se aplican a tareas de gráficos específicas. GPSE, por otro lado, puede capturar una rica información de posición y estructura de gráficos, y tiene fuertes capacidades de escalabilidad y generalización. GPSE descompone el gráfico en nodos y bordes, y utiliza los vectores de características de los nodos y los bordes para representar la información de posición y estructura de los nodos y los bordes. Estos vectores de características se pueden aprender entrenando una red neuronal. El método de codificación de GPSE tiene una gran capacidad de generalización y puede funcionar bien en diferentes tareas gráficas y conjuntos de datos. En una variedad de puntos de referencia, los modelos mejorados con GPSE logran un rendimiento excepcional en algunas tareas, mientras que en algunos casos su rendimiento es comparable a los modelos que utilizan métodos de codificación de estructura y posición de gráficos calculados explícitamente. La implementación de GPSE proporciona una opción viable para desarrollar grandes modelos preentrenados que se pueden usar para extraer información de estructura y ubicación de gráficos y puede reemplazar los métodos de codificación de estructura y ubicación de gráficos calculados explícitamente, así como los métodos de entrenamiento previo autosupervisados existentes.
2. Convoluciones de gráficos desacoplados diferencialmente privados para protección de topología multigranular
Sujetos: Eli Chien, Wei-Ning Chen, Chao Pan, Pan Li, Ayfer Özgür, Olgica Milenkovic
Enlace: https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b434b0/
Revisión de ChatPaper: este documento presenta un algoritmo de convolución de gráfico desacoplado diferencialmente privado para proteger la topología multigrano. Los métodos tradicionales de privacidad diferencial no son lo suficientemente efectivos para proteger los parámetros y las predicciones del modelo, especialmente cuando se utilizan algoritmos de convolución de gráficos para las predicciones de nodos, lo que generará riesgos adicionales de fuga de privacidad. Por lo tanto, este documento propone un nuevo marco de privacidad diferencial llamado Graph Differential Privacy (GDP) específicamente para escenarios de aprendizaje de grafos para garantizar tanto parámetros como predicciones del modelo demostrablemente privado. Además, dado que los atributos de los nodos y las estructuras gráficas pueden tener diferentes requisitos de privacidad, este documento propone un nuevo concepto de adyacencia relajada de datos de nodos. Esta relajación se puede utilizar para establecer diferentes niveles de garantías de privacidad de topología de gráficos mientras se mantiene la privacidad de los atributos del nodo. Es importante destacar que esta relajación proporciona un equilibrio útil entre la privacidad y la privacidad topológica para los métodos de aprendizaje de grafos. Además, este documento también analiza el PIB y encuentra que los DP-GNN existentes no pueden aprovechar esta compensación, porque la interacción compleja entre los diseños convolucionales de gráficos estándar interfiere con esta compensación. Para abordar este problema, este documento propone el modelo de convolución de gráficos desacoplados diferencialmente privados (DPDGC), que se beneficia de la convolución de gráficos desacoplados y proporciona garantías de PIB. Los extensos experimentos que utilizan siete conjuntos de datos de referencia de clasificación de nodos demuestran que DPDGC supera a los DP-GNN existentes basados en diseños de convolución de gráficos estándar.
3. Aprendizaje automatizado de filtros polinómicos para redes neuronales gráficas
Autores: Wendi Yu, Zhichao Hou, Xiaorui Liu
Enlace: https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaea4a/
Revisión de ChatPaper: este documento presenta un marco de aprendizaje de filtro de gráficos polinómicos automático llamado "Auto-Polynomial" para mejorar el rendimiento de las redes neuronales gráficas (GNN). Los filtros de gráficos polinómicos tradicionales han jugado un papel importante en el diseño y la optimización de GNN, pero en los últimos años, los métodos para el aprendizaje adaptativo de filtros de gráficos polinómicos han demostrado un buen rendimiento en el manejo de señales de gráficos homogéneos y heterogéneos debido a su flexibilidad y expresividad. Sin embargo, los métodos de aprendizaje de filtros de gráficos polinómicos aún sufren serios problemas de sobreajuste. Por lo tanto, este documento propone el marco Auto-Polynomial, un marco novedoso y general para el aprendizaje automático de filtros de gráficos polinómicos que puede aprender de manera eficiente mejores filtros para varias señales de gráficos complejos. Experimentos integrales y estudios de ablación muestran que el enfoque Auto-Polynomial mejora significativamente el rendimiento de GNN en múltiples escenarios de aprendizaje al considerar varias escalas de etiquetas. Este trabajo revela el potencial del aprendizaje de filtros polinómicos y abre la puerta a una optimización más eficiente y precisa de las GNN.
4. Aprendizaje de vecindarios adaptativos para redes neuronales gráficas
Autor：Avishkar Saha, Oscar Méndez, Chris Russell, Richard Bowden
Enlace: https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee36a/
Revisión de ChatPaper: este artículo propone un nuevo algoritmo llamado "Selección adaptativa de vecinos" para aprender y seleccionar vecinos de forma adaptativa en redes neuronales gráficas. Los métodos tradicionales de red neuronal convolucional de gráficos (GCN) generalmente asumen que la estructura del gráfico de entrada está dada y necesitan construir o aprender una estructura gráfica oculta a partir de datos ruidosos o faltantes. Sin embargo, este enfoque puede resultar en un grado de nodo fijo para todo el gráfico, lo cual es subóptimo. En cambio, este documento propone un nuevo generador de gráficos diferenciables de extremo a extremo que construye topologías de gráficos donde cada nodo puede elegir a sus vecinos y su tamaño. Este módulo se puede integrar fácilmente en cualquier tubería existente que involucre operaciones de convolución de gráficos y reemplaza las matrices de adyacencia predefinidas o existentes para la optimización del aprendizaje como parte del objetivo general. Por lo tanto, este método es aplicable a cualquier GCN. En este documento, integramos nuestro módulo en canalizaciones de predicción de trayectoria, clasificación de nubes de puntos y clasificación de nodos, y mostramos que nuestro algoritmo mejora la precisión en comparación con otros métodos de aprendizaje estructural en una amplia gama de conjuntos de datos y redes troncales GCN.
5.Modelo de difusión autorregresiva para la generación de gráficos
Autores: Lingkai Kong, Jiaming Cui, Haotian Sun, Yuchen Zhuang, B. Aditya Prakash, Chao Zhang
Enlace: https://www.aminer.cn/pub/6433f67190e50fcafd6d6071/
Revisión de ChatPaper: este artículo propone un método de generación de gráficos llamado "Modelo de difusión autorregresiva". A diferencia de los métodos de generación de primitivas de difusión existentes, este modelo define un proceso de absorción-difusión nodal en un espacio gráfico discreto. Para la difusión directa, el modelo diseña una red de orden de difusión que aprende un orden de absorción de nodos dependiente de los datos a partir de la topología del gráfico. Para la generación inversa, el modelo diseña una red de eliminación de ruido que utiliza el orden inverso de los nodos para reconstruir el gráfico de manera eficiente mientras predice el tipo de nuevos nodos y sus bordes para los nodos eliminados. Según la invariancia de permutación de los gráficos, las dos redes de este modelo se pueden entrenar simultáneamente para optimizar la baja probabilidad de los datos. Los experimentos en seis conjuntos de datos de gráficos generales diferentes y dos conjuntos de datos moleculares muestran que el modelo supera o iguala los métodos de vanguardia anteriores y es muy rápido de generar.
6. De paseos aleatorios a sprints de gráficos: un marco de incrustación de nodos de baja latencia en gráficos dinámicos de tiempo continuo
Intérpretes: Ahmad Naser Eddin, Jacopo Bono, David Aparício, Hugo Ferreira, João Ascensão, Pedro Ribeiro, Pedro Bizarro
Enlace: https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaec36/
Revisión de ChatPaper: este documento analiza métodos para la incorporación de nodos de baja latencia en gráficos dinámicos de tiempo continuo (CTDG). Muchos conjuntos de datos del mundo real vienen con estructuras gráficas dinámicas, donde las entidades y sus interacciones evolucionan con el tiempo. Para explotar completamente el potencial de estos conjuntos de datos, los modelos de aprendizaje automático deben tener en cuenta estas dinámicas. Los métodos anteriores para el aprendizaje de la representación gráfica incluyen el muestreo de vecinos k-hop o caminatas aleatorias, pero estos métodos son demasiado costosos para la inferencia de baja latencia en gráficos dinámicos. Para abordar este problema, el documento propone el marco "graph-sprints", un marco general de extracción de características que permite la inferencia de baja latencia en gráficos dinámicos de tiempo continuo y los compara con modelos de alta latencia de última generación. Para lograr esto, el documento propone un método de aproximación de función de caminata aleatoria de baja latencia y transmisión. En nuestro marco, las incrustaciones de nodos sensibles al tiempo resumen la información de múltiples saltos, lo que requiere solo operaciones de un solo salto para analizar los bordes de entrada. Realizamos evaluaciones en tres conjuntos de datos de código abierto y dos conjuntos de datos propios, y los comparamos con tres algoritmos de última generación (TGN-attn, TGN-ID y Jodie). Nuestros resultados muestran que nuestra función de "sprint gráfico" combinada con un clasificador de aprendizaje automático puede lograr un rendimiento excelente (superando todos los puntos de referencia en la tarea de clasificación de nodos en cinco conjuntos de datos), al tiempo que logra una aceleración de casi un orden de magnitud en la velocidad de inferencia.
7.GraphCL-DTA: un gráfico de aprendizaje contrastivo con semántica molecular para la predicción de la afinidad de unión del fármaco al objetivo
Autores: Xinxing Yang, Genke Yang, Jian Chu
Enlace: https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee2f9/
Revisión de ChatPaper: este artículo presenta un modelo llamado GraphCL-DTA para predecir las afinidades de unión de la droga al objetivo. En las primeras etapas del descubrimiento de fármacos, el modelo se puede utilizar para inferir la fuerza de las interacciones entre nuevos fármacos y objetivos. Los modelos computacionales tradicionales solo se basan en datos supervisados cuando aprenden representaciones de drogas, mientras ignoran la información contenida en el propio gráfico molecular. Además, la mayoría de los estudios previos diseñan módulos de aprendizaje de representación complejos mientras ignoran las métricas de consistencia para medir la calidad de la representación. Para abordar estos problemas, este artículo propone el modelo GraphCL-DTA, que es un modelo de aprendizaje contextual basado en gráficos moleculares para aprender representaciones de fármacos. A través del modelo GraphCL-DTA se puede conservar la información semántica del gráfico molecular. Con este modelo, se pueden aprender representaciones de drogas más efectivas sin datos supervisados adicionales. Además, el documento diseña una nueva función de pérdida que se puede usar directamente para ajustar suavemente la consistencia de las representaciones de drogas y objetivos. La calidad de las representaciones de fármacos y objetivos se puede mejorar optimizando directamente la consistencia de la representación. El modelo funciona bien en dos conjuntos de datos reales, KIBA y Davis, lo que demuestra que supera a los modelos de última generación.
8. Filtrado colaborativo de gráficos con reconocimiento de nitidez
Autores: Huiyuan Chen, Chin-Chia Michael Yeh, Yujie Fan, Yan Zheng, Junpeng Wang, Vivian Lai, Mahashweta Das, Hao Yang
Enlace: https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee278/
Revisión de ChatPaper: este documento presenta un método llamado "Filtrado colaborativo de gráficos conscientes de la nitidez", que utiliza una red neuronal gráfica (GNN) para el filtrado colaborativo. Los GNN tienden a funcionar mal cuando las distribuciones de datos de entrenamiento y prueba son inconsistentes. Además, entrenar GNN requiere optimizar redes neuronales no convexas, donde hay una gran cantidad de mínimos locales y globales, y su rendimiento en el momento de la prueba puede variar ampliamente. Por lo tanto, elegir un valor mínimo apropiado es crítico. El documento propone un marco de entrenamiento eficiente llamado gSAM, basado en el principio de que los mínimos más planos tienen mejores capacidades de generalización, mientras que los mínimos más nítidos son menos adecuados para el entrenamiento. gSAM supervisa la uniformidad del espacio de pérdida de peso mediante la formación de una optimización de dos etapas, la pregunta externa realiza el entrenamiento del modelo estándar y la pregunta interna ayuda al modelo a saltar fuera de los mínimos nítidos. Los resultados experimentales muestran que gSAM tiene superioridad.
9. Separación de los atributos de los nodos de la topología de gráficos para mejorar la capacidad de generalización en la predicción de enlaces
Credit:Ian Chatterjee, Robin Walters, Giulia Menichetti, Tina Eliassi-Rad
Enlace: https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee243/
Revisión de ChatPaper: el artículo estudia las tareas de predicción de vínculos en el aprendizaje automático de gráficos y explora la relación entre los atributos de los nodos y la topología del gráfico. Los estudios han demostrado que la integración de atributos de nodos previamente entrenados en modelos de predicción de enlaces puede mejorar la capacidad de generalización del modelo. El autor propone un método llamado UPNA (Unsupervised Pre-training of Node Attributes) para resolver el problema de predicción de enlaces inducidos. UPNA predice las probabilidades de borde aprendiendo un par de atributos de nodo, en lugar de ser propenso a un cortocircuito topológico en gráficos con distribuciones de grado regularizadas como GNN. De esta manera, UPNA aprende parte del mecanismo oculto de generación de gráficos, ya que las características aprendidas pueden usarse para agregar nodos entrantes al gráfico en crecimiento. Mediante el uso de atributos de nodos previamente entrenados, UPNA supera el sesgo de observación y realiza predicciones significativas para nodos no observados, logrando un rendimiento de última generación (mejora de 3X a 34X) en conjuntos de datos de referencia. UPNA se puede aplicar a varias tareas de aprendizaje dual y se puede integrar con modelos de predicción de enlaces existentes para mejorar su capacidad de generalización y fortalecer los modelos de generación de gráficos.
10. Aprendizaje curricular para redes neuronales gráficas: un enfoque basado en competencias de múltiples vistas
Dirección: Nidhi Vakil, Hadi Amiri
Enlace: https://www.aminer.cn/pub/64ae66e83fda6d7f068496fc/
Revisión de ChatPaper: este artículo tiene como objetivo abordar el problema del aprendizaje del plan de estudios en redes neuronales gráficas. El aprendizaje del plan de estudios se refiere a la secuencia planificada de materiales de aprendizaje de acuerdo con ciertos, haciendo que el aprendizaje sea más eficiente y efectivo tanto para humanos como para máquinas. Investigaciones recientes han desarrollado métodos efectivos de aprendizaje de currículos basados en datos para entrenar redes neuronales gráficas en aplicaciones de lenguaje. Sin embargo, los métodos de aprendizaje del plan de estudios existentes generalmente solo usan un único criterio de dificultad durante la capacitación. Este artículo propone una nueva perspectiva sobre el aprendizaje del currículo mediante la introducción de una formalización de la complejidad de los gráficos (como criterio de dificultad) y la noción de capacidad del modelo para construir el aprendizaje del currículo. El modelo incluye un esquema de programación para determinar cursos efectivos teniendo en cuenta la dificultad de la muestra y diferentes puntos de vista de la capacidad del modelo durante la capacitación. La solución propuesta ha desarrollado aún más las capacidades en la investigación del aprendizaje del plan de estudios de las redes neuronales gráficas, que pueden tener en cuenta los criterios refinados de dificultad de los gráficos durante el entrenamiento. Los resultados experimentales sobre predicción de enlaces en el mundo real y tareas de clasificación de nodos demuestran la eficacia del método propuesto.