Redes neuronales de secuencia de gráficos con compuerta

• Dirección en papel: https://arxiv.org/abs/1511.05493
• Dirección de origen: ggnn
• diapositivas: ggnn-talk
• Palabras clave: RNN , Graph Sequential tasks

1. Introducción

Este artículo propone un GNN basado en GRU ¹ , que puede realizar tareas que generan un valor único (como clasificación de nodos, clasificación de gráficos, etc.), y también puede completar tareas de salida de secuencia (como la ruta más corta, anillo de Euler, etc. .). En el documento, bAbI ² (bAbI es un generador de tareas de comprensión / razonamiento de texto lanzado por Facebook AI) y las tareas de verificación del programa se utilizaron para probar GG-NN y GGS-NN y obtuvieron buenos resultados.

El documento discutió GNN para gráficos dirigidos. Entonces, ¿cómo representar el GNN del gráfico dirigido?
Para gráficos dirigidos $GRAMO=(V,E)$ , su matriz de adyacencia consta de dos partes$A=[A_{in},A_{out}]$，$A_{in}，A_{out}$Las matrices de adyacencia de entrada y salida son respectivamente. $G$ en cada nodo$v$ ha definido su$IN$和$El\; conjunto\; de$ nodos$O$$U$$T$ , que apuntan respectivamente avvEl conjunto de nodos iniciales del borde de$vy$ de$v\; El$ conjunto de nodos finales del borde inicial. vvconjunto de nodos vecinos de$v$$NBR\; se$ define como$YoN\cup OUT$ , y puede tener etiquetas separadas para bordes y nodos.

GNN se revisó en el documento. El proceso de mapeo de datos del gráfico GNN a la salida se puede dividir en dos partes: MODELO DE PROPAGACIÓN y MODELO DE SALIDA, que se utilizan para calcular la representación del nodo y mapear la representación del nodo a la salida, respectivamente.

El artículo propone GG-NN (redes neuronales de gráfico cerrado) y GGS-NN (redes neuronales de secuencia de gráfico cerrado) para salida no secuencial y salida de secuencia, respectivamente. Entre ellos, GG-NNs se basa en GNN, la diferencia es que GRU se usa para construir MODELO DE PROPAGACIÓN y MODELO DE SALIDA. El GGS-NN para la secuencia de salida se construye sobre la base de GG-NN. A continuación, presentaré GRU ^{1 primero} y luego presentaré GG-NN y GGS-NN.

Unidad recurrente cerrada GRU (Gated Recurrent Unit) . GRU se puede considerar como una variante de LSTM, que es muy similar a LSTM. En comparación con las unidades de un RNN convencional, las conexiones entre las unidades neuronales compiladas no se modifican, pero el interior de cada unidad neuronal compuerta está cuidadosamente diseñado. Como RNN cerrado, puede aprender a decidir cuándo limpiar el estado.

2. GG-NN

El proceso de GG-NN se muestra en la siguiente figura.

Como se puede ver en la figura anterior, la entrada de GG-NN es "Anotar nodos con información específica del problema", que se denomina "Anotaciones de nodo" en el documento. No es lo mismo que la etiqueta de nodo mencionada anteriormente. El nodo las anotaciones son La "etiqueta / característica" definida bajo la pregunta específica. De acuerdo con el dominio del problema específico, se generan anotaciones para cada nodo ( ¿cómo generar anotaciones? ), Y las anotaciones se rellenan con 0 hasta un tamaño fijo en la capa de entrada como entrada de la red. Las anotaciones de los nodos pasan a través de la red de capa t basada en PROPAGATION MODEL-GRU ( pasos t en el documento, pero según tengo entendido significa que la red tiene capas t ), y luego los datos calculados se generan a través de el MODELO DE SALIDA para generar los resultados de la tarea.

3. GGS-NN

El proceso de GGS-NN es el siguiente.

También se puede ver en la figura anterior que GGS-NN está construido sobre la base de GG-NN. La entrada de GGS-NN también son anotaciones de nodo. La entrada de anotaciones en cada paso se convierte a partir de la salida de la capa oculta en el paso anterior. La salida de la capa oculta en cada paso se pasa a dos GG-NN, una se usa para generar la salida de este paso y la otra se usa para generar la siguiente entrada, es decir, las anotaciones de nodo de la siguiente entrada. De hecho, además de los dos GG-NN anteriores en GGS-NN, también hay un GG-NN que se utiliza para determinar si se debe continuar en cada paso. El GG-NN estará en el nivel de gráfico (piense en el gráfico como un nodo especial, que está relacionado con todos los nodos en la figura) para realizar una clasificación de dos clases.

El documento utiliza tareas bAbI y verificación de la lógica del programa para las pruebas. En la tarea bAbI, la relación entre entidades y entidades se considera como puntos y bordes (algo similar a un gráfico de conocimiento), y GG-NN / GGS-NN se usa para razonar. Resolver el problema de las invariantes del programa en la verificación del programa es un punto de partida principal de este artículo. Al tratar el estado del montón como datos gráficos durante la ejecución del programa, la expresión lógica de separación ³ del programa se genera de manera secuencial sobre la base de estos datos .

Materiales de referencia:

• Conceptos y principios básicos de la Unidad Recurrente Cerrada (GRU)
• Guía ilustrada de LSTM y GRU: una explicación paso a paso

---

---

Bienvenido a mi blog personal ~~~

Referencias

---

1. Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger
   Schwenk y Yoshua Bengio. Aprendizaje de representaciones de frases usando codificador-decodificador rnn para
   traducción automática estadística , 2014. ↩︎ ↩︎

2. Jason Weston, Antoine Bordes, Sumit Chopra, Alexander M. Rush, Bart van Merriënboer, Armand Joulin
   y Tomas Mikolov. Hacia una respuesta completa a las preguntas: un conjunto de tareas de juguete prerrequisito, 2015. ↩︎

3. Peter O'Hearn, John Reynolds y Hongseok Yang.
   Razonamiento local sobre programas que alteran las
   estructuras de datos . En Laurent Fribourg, editor, Computer Science Logic, páginas 1–19, Berlín, Heidelberg, 2001.
   Springer Berlin Heidelberg. ↩︎