Dirección de tesis: https://arxiv.org/abs/1902.01541
Trabajo de investigación existente:
Este artículo se centra en el problema de la resolución de entidades en la literatura: el estado actual de la técnica es un modelo de pares de mención, pero el costo de este método para calcular y etiquetar datos es relativamente alto.
El trabajo y la innovación de este artículo :
Este documento propone un modelo para procesar texto de forma incremental y resolver referencias dinámicamente, que es un método de aprendizaje en línea.
Métodos de investigación:
Principio de funcionamiento:
Lea el texto de izquierda a derecha y almacene la entidad en una memoria de trabajo de tamaño fijo. Al encontrar cada token, hay tres opciones: vincular el token a la memoria existente para crear una referencia común Enlace; almacene una nueva entidad y sobrescriba la memoria existente; ignore el token y continúe leyendo. La siguiente figura muestra el esquema de trabajo del modelo con dos celdas de memoria.
Introducción del modelo:
Para un documento dado, el texto se representa en dos niveles, nivel de token y nivel de entidad. El modelo incluye dos componentes, una unidad de almacenamiento, que se utiliza para almacenar y rastrear el estado de las entidades en el texto; una unidad de circulación, que controla la memoria a través de un conjunto de puertas. La siguiente figura es una descripción general del modelo.
Para la unidad de circulación, su inspiración proviene de Coreferential-GRU. Use unidades de almacenamiento externas para rastrear entidades, y deje que el modelo aprenda qué almacenar en cada unidad en lugar de confiar en una estructura de referencia para construir un gráfico de cálculo dinámico. El método de actualización es el siguiente:
Ct también es una puerta para medir la importancia del token actual en la red de memoria.
Para una unidad de memoria, es una colección de escalares, lo que significa que una entidad se actualiza o renueva en un determinado token.
Parte experimental:
El experimento se realizó en el conjunto de datos GAP, y la tarea consistía en la capacidad de rastrear correctamente las referencias de entidad en el texto. A juzgar por los resultados, los resultados logrados por el experimento son bastante buenos.
Evaluación:
Lo que este artículo hace es el problema de la resolución de la entidad en el documento, que es rastrear las entidades referenciadas correctamente en este artículo. A partir de los resultados experimentales, la mejora sigue siendo relativamente obvia. En particular, la mejora lograda mediante el uso del método de modelado BERT es bastante obvia, pero el modelado BERT es bidireccional y utiliza información futura, por lo que no se puede decir que se actualice únicamente de manera incremental. Pero también recuerde que el trabajo futuro se puede combinar con algunos modelos y métodos de capacitación previa a gran escala.