Los modelos simples para BERT Relación Extracción y Etiquetado Papel Semántica
motivación 1 Papel
- Bert modelo basado propuso a la extracción de relación (Relación de extracción) y el etiquetado papel semántico (semántica Etiquetado Rol)
- Que no requiere características del vocabulario y la sintaxis de enlace, alcanzando un rendimiento de SOTA, proporcionando de línea de base para el estudio de seguimiento
Modelo 2 Introducción
modelo de extracción 2.1 relación
Modelar extracción relación esquemática, como se muestra:
La frase de entrada está configurado para: [[CLS] frase [sep] sujeto [sep] objeto [sep]]
Para evitar exceso de montaje, utilizando una máscara especial de símbolo para la entidad sujeto de la oración y la entidad objeto, por ejemplo, [S-PER] representado entidad sujeta representativa. Después de la oración después de la Máscara palabra WordPiece después de la segmentación es introducida en el codificador Bert
Uso representa palabras entre [[CLS] frase [sep] ] representado por el vector obtenido Bert, aquí
no es necesariamente la longitud de la frase, ya que la palabra puede ser dividida en varias sub-palabra Word
Uso representación vectorial de un sujeto entidad
Uso representación del objeto vectorial de una entidad
Definir la posición de las secuencias relativas a la entidad tema es :
En la fórmula, y
se basan comienzo idioma y la ubicación final de la entidad,
representa la entidad posición y sujeta relativa
Del mismo modo, debido a la posición de la entidad objeto es la secuencia de
La posición de conmutación es una secuencia de vector de posición, y un vector que representa Bert costura, como se muestra en (a),
La secuencia de vector es entonces entrada a un Bi-LSTM, Obtener último estado capa oculta en cada dirección
Una sola entrada a la capa de red neural oculta es la relación de predicción
2.2 modelo de anotación papel semántico
esquemática Modelo de análisis semántico, como se muestra:
2.2.1 predicado desambiguación sentido, predicado significado desambiguación
X. Esta tarea se procesa como un etiquetado secuencia, frase después separador de palabras palabra WordPiece, cualquier palabra de un contador se etiqueta como O, el resto de la ficha está etiquetado El vector se puede expresar como Bert , y el indicador de predicados predicción empalmado incrustado se clasifica después de red neural capa oculta sola
identificación 2.2.2 Argumento y clasificación, identificación y clasificación de argumentos
estructura de modelo que se muestra anteriormente, la secuencia de entrada es [[CLS] frase [sep] predicado [sep]], obtenido por el vector que representa Bert y la incrustación del indicador por la costura después de la única Bi-LSTM dar a cada secuencia de palabras capa oculta se expresa como , para predecir la representación palabra vector
, y una representación simbólica de cada vector
de empalme, para entrar en una sola capa oculta de la red neural a la previsión de classify
rendimiento 3 Experimental
Relación modelo de extracción en comparación TACRED conjunto de datos de diferentes modelos e indicadores como se muestra:
Semántica modelo de etiquetado en función CoNLL 2009 y fuera del dominio de los conjuntos de datos se comparan diferentes modelos e indicadores como se muestra:
