Re47: Lea el artículo DAGNN hacia redes neuronales de gráficos más profundos

Los dioses son directorio de blogs CSDN personal silencioso

Nombre del artículo: Hacia una red neuronal de gráficos más profundos
Abreviatura del modelo: DAGNN

Este artículo es un artículo de KDD de 2020. La dirección de descarga es https://www.kdd.org/kdd2020/accepted-papers/view/towards-deeper-graph-neural-networks
. Este artículo se centra principalmente en nodos no ponderados y no dirigidos con Características En el gráfico atribuido, cómo profundizar el número de capas de la red neuronal del gráfico (sobre por qué el número de capas del GNN tradicional no puede ser demasiado, este problema se puede explicar en otros trabajos, de todos modos, lo he escrito en publicaciones de blog anteriores)

Este artículo cree que el GNN tradicional no puede tener demasiadas capas porque el modelo se profundiza → el campo receptivo aumenta → el efecto empeora. ¿Por qué la
profundización del modelo conduce a un aumento en el campo receptivo? He escrito esto antes en una publicación de blog, y Me da pereza repetirlo.
¿Por qué la ampliación del campo receptivo produce peores efectos? Este artículo cree que se debe al problema de suavización excesiva. Trabajos anteriores1 ^demostraron que GCN es, de hecho, un suavizado laplaciano simétrico2 especial ^, lo que conducirá a representaciones de nodos excesivamente similares después de GNN multicapa. JK ³ relacionó la distribución de la influencia de los nodos con el paseo aleatorio ⁴ y también estudió el mismo problema. (Por cierto, estos dos trabajos también se mencionan en el artículo de APPNP. Consulte las notas de lectura de APPNP que escribí: Re0: Lea el artículo PPNP/APPNP Predecir y luego propagar: Graficar redes neuronales con PageRank personalizado )
SGC ⁵ es un dominio espectral bajo filtro de paso, alivia este problema.

El bajo número de capas conduce a 1. Información insuficiente obtenida por los nodos periféricos de sus vecinos. 2. El campo receptivo es demasiado pequeño, lo que resulta en tareas pesadas semi-supervisadas y señales de entrenamiento insuficientes que se extienden a toda la imagen.

Este artículo cree que la causa fundamental de este problema es que las representaciones de transformación y propagación están enredadas, lo que aumentará el número de parámetros, y las dos tienen diferentes responsabilidades y deben separarse, por lo que desacoplar las dos puede hacer que el GNN sea más profundo. Ahora: Este es DAGNN.
(Esta idea es muy similar a los conceptos en APPNP, D&S y AutoGraph. Consulte la publicación del blog que escribí antes). Ya no puedo entender el proceso de prueba. Mis notas en ese momento indican si lo entendí en ese momento
. .No.escribió. En resumen, la parte del Teorema 3.1 sobre las cadenas de Markov demuestra que después de infinitas capas, las características serán las mismas.

Desacople las dos partes de GCN:
$$\begin{gathered} z=MLP\left(X\right) \\ {X}_{ou}=\text{softmax}\left({\hat{A}}^{k}Z\right) \end{gathered}$$

Las principales contribuciones de DAGNN radican en dos puntos: 1. Desacoplamiento de transformación y propagación 2. El mecanismo de ajuste adaptativo permite a los nodos obtener de forma adaptativa información de vecinos locales o globales.

DAGNN的公式：
$$\begin{gathered} z=MLP\left(X\right) \\ {h}_{}={\hat{A}}^{lZ}\_ \\ h=\text{pila}(Z,h_{},\dots ,h_{}) \\ S=\sigma \left(Hs\right) \\ \tilde{S}=\text{El primer paso de la remodelación}\left(S\right) \end{gathered}$$
es la transformación, el segundo paso es la propagación y el tercer paso es la parte adaptativa,$s$ son puntuaciones de retención

Cuando leí este artículo, sentí que el último paso era simplemente calcular el tamaño... Así es como se ajustan los parámetros...

Código oficial de GitHub: https://github.com/divelab/DeeperGNN
Me refiero a la implementación del código oficial y lo coloco en el paquete de código de copia que escribí yo mismo: https://github.com/PolarisRisingWar/rgb-experiment/blob/ maestro /rgb_experiment/models/dagnn.py

---

1. (2018 AAAI) Conocimientos más profundos sobre redes convolucionales gráficas para el aprendizaje semisupervisado ↩︎

2. (1995) Un enfoque de procesamiento de señales para el diseño de superficies justas ↩︎

3. (2018 ICML) Aprendizaje de representación en gráficos con Jumping Knowledge Networks ↩︎

4. Paseos aleatorios sobre gráficos: una encuesta ↩︎

5. (2019 ICML) Simplificación de redes convolucionales de gráficos ↩︎