¡Acostúmbrate a escribir juntos! Este es el día 16 de mi participación en el "Desafío de actualización de abril del nuevo plan diario de Nuggets", haga clic para ver los detalles del evento .
papel
- 标题：Razonamiento global sobre estructuras de bases de datos para el análisis de texto a SQL
- Conferencia: EMNLP 2019
- Enlace: arxiv.org/abs/1908.11…
Introducción
El blog anterior introdujo un método para aplicar redes neuronales gráficas a tareas de Text-to-SQL. Este blog continuará siguiendo la dirección de las redes neuronales gráficas e introducirá un modelo más optimizado y perfecto en el modelo GNN-Gating GCN.
Introducción
En la configuración de dominio cruzado del conjunto de datos Spider, una de las dificultades más críticas es que el analizador debe asignar nuevos elementos léxicos a constantes de esquema que no se observaron durante el entrenamiento. Los modelos GNN anteriores abordaron esto principalmente a través de una función de similitud local entre palabras y constantes de esquema, que considera cada palabra y constante de esquema individualmente, ignorando la consideración global de la información.
Como se muestra en la figura anterior, el nombre de la palabra aparece en la pregunta Pregunta, pero esta palabra aparece tanto en la tabla de cantantes como en la de canciones. Si solo se considera la información local, entonces la probabilidad de que el modelo elija cantante.nombre y canción.nombre es la misma. Sin embargo, podemos observar que nombre y nación aparecen al mismo tiempo en la pregunta. Teniendo en cuenta que nación solo tiene una gran similitud con cantante.país, podemos juzgar aproximadamente que nombre se refiere a la columna de nombre en la tabla de cantante.
Basado en esta idea, este artículo propone el modelo Global GCN. Puede obtener cuáles de las constantes del esquema son útiles para la generación de la sentencia SQL final de acuerdo con la información global, lo que mejora el rendimiento.
método
En comparación con el modelo GNN, este modelo agrega dos redes GCN: GCN cerrada y GCN de reclasificación.
-
Gated GCN添加一个新的节点v_global用于做global representation，替换原来输入中的参数 用作Encoder GCN的输入。
-
Re-rank GCN用于对输出的beam进行rerank排序。这样可以确保在Encoder还是Decoder都可以完整获取schema item的信息（用GCN编码的，Encoder看到的是整个图，Decoder设置为子图但也有全局信息 ）。
上图为整个框架结构，Gating GCN用来表示当前问句对应的SQL语句会跟哪些schema item相关，计算一个相关分数。接着，使用Encoder GCN计算每个schema item的学习表示，然后Decoder使用该表示来预测K个候选查询。最后，重新排序的GCN只根据选定的DB常数对每个候选项进行评分。虚线和箭头表明，在Decoder输出SQL查询时，没有将梯度从Reranking GCN传播到Decoder。
Reranking模块用于将Decoder输出beam的所有query进行rerank。与gated GCN不同的是，reranking GCN只输入在预测SQL语句 中出现过的schema item的节点的子图和 节点。由于这样只能捕获选定节点的全局属性，但忽略未选定的和可能相关的节点。后面又计算一个新的向量 para registrar toda la información de los nodos.
experimento
Después de agregar estos dos módulos, el modelo Global GNN logró mejoras adicionales. Los resultados experimentales se muestran en la siguiente figura,
Los autores también comparan las diferencias de rendimiento en tablas únicas y múltiples:
En conclusión
Global GNN compensa algunas de las deficiencias del modelo GNN original, optimiza la consideración de información global en el cálculo de similitud y logra mejoras adicionales en el conjunto de datos Spider. El próximo blog le presentará el modelo RATSQL.