©Autor | Wu Weiqi
Unidad | Universidad Tecnológica de Shanghái
Por | PaperWeekly
La aparición de modelos de lenguaje a gran escala ha promovido en gran medida el progreso del campo del procesamiento del lenguaje natural, pero al mismo tiempo existen algunas limitaciones, como que el modelo puede producir contenido que parece razonable pero en realidad es incorrecto o falso. se llama alucinación (hallucination). La existencia de alucinaciones hace que se cuestione la confiabilidad de los grandes modelos de lenguaje en tareas críticas y aplicaciones prácticas.
Las alucinaciones del modelo pueden deberse a la falta o mala interpretación del conocimiento relevante por parte del modelo. Cuando los humanos pensamos y recordamos cosas, el conocimiento ontológico juega un papel importante en nuestro proceso de pensamiento. El conocimiento ontológico implica categorías, atributos y las relaciones entre ellos. Nos ayuda a comprender el mundo, organizar y clasificar la información y ser capaces de obtener nuevos conocimientos. Para los modelos de lenguaje, podemos diseñar tareas de detección, conocimiento implícito y sesgo de aprendizaje dentro del modelo.
Título del trabajo:
¿Los PLM conocen y entienden el conocimiento ontológico?
Enlace de papel:
https://www.aclanthology.org/2023.acl-long.173.pdf
Enlace de código:
https://github.com/vickywu1022/OntoProbe-PLMs
introducción de fondo
Para explorar todo tipo de conocimiento aprendido por modelos grandes en la etapa previa al entrenamiento, los investigadores prueban estos modelos mediante el diseño de tareas de sondeo. A través del desempeño del modelo en estas tareas, podemos comprender el sesgo de aprendizaje, el error o la limitación del modelo de lenguaje en diferentes aspectos, y tratar de mejorar el desempeño y la confiabilidad del modelo. Sin embargo, las sondas de conocimiento existentes estudian principalmente la memoria de los modelos para el conocimiento fáctico, es decir, el conocimiento que describe hechos, atributos y relaciones concretos. Por ejemplo, sabemos que en "Journey to the West", "Monkey King vence al Bone Demon tres veces", esta es una pieza específica de conocimiento fáctico.
En comparación con el conocimiento fáctico, el conocimiento ontológico se centra en las clases y los atributos, y la relación entre ellos. Puede describir la relación jerárquica entre conceptos, restricciones de atributos y otras asociaciones, y proporciona una forma estructurada de comprender el conocimiento del mundo. El siguiente es un mapa de conocimiento de ontología. A partir del conocimiento fáctico de "Sun Wukong vence al espíritu de los huesos tres veces", hay más conexiones entre conceptos, incluido el tipo de instancia (tipo), subclase (subclase), subpropiedad (subpropiedad), dominio de atributo (dominio) y rango de atributo (rango).
El conocimiento de la ontología puede ayudar a los modelos a comprender mejor los objetos del mundo real y sus relaciones, y desempeña un papel vital en muchas tareas de PNL, como la respuesta a preguntas. Por lo tanto, explorar si el modelo de lenguaje preentrenado puede memorizar y comprender el conocimiento de la ontología puede ampliar la comprensión de la comunidad académica sobre la capacidad cognitiva del modelo de lenguaje, lo cual es de gran importancia en esta era de rápido desarrollo de modelos grandes.
método de sonda
Estudiamos los modelos de lenguaje preentrenado basados en codificadores BERT y RoBERTa, y el modelo grande ChatGPT basado en decodificadores. Para el modelo de estructura del codificador, usamos un método de sondeo basado en indicaciones para explorar si el modelo puede predecir la respuesta correcta en función del contexto descubierto; mientras que para el modelo de estructura del decodificador, necesitaremos completar las indicaciones en blanco. preguntas de elección y explore si el modelo puede dar la opción correcta.
2.1 Tarea de memoria
Diseñamos cinco subpruebas de tareas de memoria, cada subprueba de tarea es para detectar la capacidad de memoria del modelo de lenguaje previamente entrenado para una relación de ontología:
1. El tipo de la instancia dada;
2. La categoría principal de una clase dada;
3. El atributo superior del atributo dado;
4. Restricciones de dominio para un atributo dado;
5. Restricciones de rango para un atributo dado.
Para el modelo BERT, usamos avisos humanos y avisos suaves entrenables para las pruebas de sondeo, y los siguientes avisos están diseñados para cada relación de ontología. El modelo clasifica las palabras candidatas en función de las predicciones de probabilidad logarítmica.
2.2 Tareas de razonamiento
Construimos tareas de razonamiento de acuerdo con las reglas especificadas en el esquema del marco de descripción de recursos (RDFS), y cada subtarea de razonamiento explora la capacidad de un modelo de lenguaje entrenado previamente para razonar de acuerdo con una regla de silogismo. Para cada premisa, distinguimos si la premisa se incluye explícitamente en la entrada del modelo y utilizamos los resultados de la prueba de la tarea de memoria para distinguir aún más si el modelo memoriza la premisa y exploramos el impacto de las diferentes formas de la premisa en el modelo. inferencia.
Para evitar que el modelo llegue a conclusiones correctas mediante la memorización de la hipótesis en lugar del razonamiento, reemplazamos instancias, clases y atributos específicos incluidos en la indicación de la hipótesis con palabras acuñadas. Para los modelos estructurados por codificador, obtenemos acuñaciones de modelos de lenguaje previamente entrenados mediante la creación de incrustaciones de palabras sin una semántica especial.
Resultados y descubrimientos experimentales
3.1 Tarea de memoria
A través del análisis de datos experimentales, encontramos que: Los modelos BERT y RoBERTa pueden memorizar ciertos conocimientos ontológicos, pero no son perfectos.
BERT y Roberta superaron un modelo de referencia de frecuencia fuerte en la tarea de memoria. Esto muestra que durante el proceso de pre-entrenamiento, el modelo de lenguaje no solo aprende conocimiento fáctico sobre las entidades, sino que también aprende relaciones ontológicas más abstractas detrás de los hechos, lo cual es crucial para que el modelo organice mejor su comprensión del mundo. Sin embargo, la precisión del modelo en las cinco subtareas aún tiene mucho margen de mejora, lo que indica las limitaciones del modelo en la memoria de conocimiento de ontología.
Comparado con el modelo BERT, ChatGPT ha mejorado significativamente la precisión en las tareas de memoria.
Dado que la opción múltiple no es directamente comparable con la dificultad de completar el espacio en blanco, alimentamos las palabras clave en forma de opción múltiple al modelo sin mayúsculas y minúsculas de base BERT y lo comparamos con ChatGPT. Como se puede ver en la tabla a continuación, en la mayoría de las tareas de memoria relacionadas con el conocimiento de ontología, ChatGPT es significativamente mejor que BERT sin carcasa en términos de precisión, mostrando una mayor capacidad de memoria de conocimiento de ontología.
3.2 Tareas de razonamiento
A través del análisis de datos experimentales, encontramos que: Los modelos BERT y RoBERTa tienen una comprensión limitada del conocimiento de la ontología.
La siguiente figura muestra el rendimiento de la inferencia después de promediar todas las reglas de inferencia y los modelos BERT y RoBERTa. Cuando se proporcionó explícitamente en el texto de entrada, el modelo pudo mejorar significativamente la clasificación de la respuesta correcta. Dado que se incluye la respuesta correcta que debe predecirse, esto lleva a sospechar que la mejora del rendimiento no se obtiene a través del razonamiento lógico, sino porque el modelo tiende a predecir las palabras y el vocabulario relacionado que aparecen en la entrada.
Cuando la premisa se da implícitamente, el MRR es más alto que cuando no se da la premisa. Esto significa que, hasta cierto punto, el modelo de lenguaje preentrenado puede usar el conocimiento de la ontología codificada para seleccionar las reglas de inferencia correctas para la inferencia. Sin embargo, ninguna de las combinaciones de premisas puede brindar un rendimiento de inferencia casi perfecto (MRR está cerca de 1), lo que indica que la capacidad del modelo de lenguaje preentrenado para comprender el conocimiento de la ontología aún es limitada.
ChatGPT tiene una mayor capacidad para razonar y comprender el conocimiento de la ontología.
ChatGPT exhibe una alta precisión en varias subtareas de inferencia cuando las premisas de inferencia se incluyen en la entrada o memoria del modelo. Al mismo tiempo, en comparación con el modelo sin carcasa de base BERT, la capacidad de razonamiento explícito de ChatGPT también es mejor (97,1 % frente a 88,2 %).
Resumir
En este estudio, llevamos a cabo una discusión exhaustiva y sistemática sobre si el modelo de lenguaje preentrenado puede codificar efectivamente el conocimiento de la ontología durante el proceso de preentrenamiento y si puede comprender profundamente el contenido semántico, y descubrimos que el modelo de lenguaje tiene un cierto capacidad de memorizar y comprender el conocimiento de ontología, y puede seguir las reglas de razonamiento del conocimiento de ontología para realizar un cierto grado de razonamiento basado en este conocimiento implícito. Sin embargo, tanto la memoria como la inferencia del modelo tienen limitaciones. Al mismo tiempo, el excelente desempeño de ChatGPT en las dos tareas demuestra que la memoria del modelo y la comprensión del conocimiento ontológico aún tienen la posibilidad de mejorar aún más.
Ingrese al grupo de PNL —> únase al grupo de intercambio de PNL