Aplicación práctica de la generación de títulos cortos personalizados basada en GAN en la plataforma 1688

Enlace original: https://developer.aliyun.com/article/770631

Aplicación práctica de la generación de títulos cortos personalizados basada en GAN en la plataforma 1688

        在电商情境下，卖家为了吸引买家兴趣，也为了提高商品被搜索引擎检索命中的概率，通常趋向于写过于冗长的商品标题。如何从过于冗长的标题中抽取关键信息作为短标题展示在手机端，同时结合不同用户的兴趣及用户特征，展示不同的短标题，是我们研究的核心。过去，1688导购场景中的短标题文案由卖家填写或仅通过简单的统计方法实现，基于此，我们运用算法的手段构建深度学习模型，并在1688平台的多个场景里尝试并落地了个性化短标题生成的技术，丰富了场景的营销内容，在场景中取得了不错的效果。</span>

1. Introducción de antecedentes

A partir del trabajo del año pasado, nuestro equipo ha acumulado un esquema de generación de contenido para algoritmos estilizados de generación de redacción publicitaria. Posteriormente, propusimos de manera innovadora el uso de la tecnología de generación Generative Adversarial Network, combinada con las características del usuario para generar títulos cortos personalizados y, al mismo tiempo, mejorar la robustez del modelo en conjuntos de datos escasos. Los resultados han sido aceptados por la conferencia DLP-KDD2020, y el título del documento es "Venta de productos por máquina: un método de capacitación adversario sensible al usuario para la generación de títulos breves en el comercio electrónico móvil".

En el pasado, la investigación relacionada comenzaba principalmente a partir del contenido del producto, pero carecía de la exploración del comportamiento del usuario, descuidando así las necesidades de los compradores. Proponemos la "Red Adversarial de Generación de Punteros Personalizados (PPGAN)" para generar titulares cortos personalizados percibidos por los usuarios. Además, en el conjunto de datos, la baja tasa de clics de los usuarios en los datos de comportamiento del usuario de comercio electrónico hace que nuestro conjunto de datos sea muy escaso. El modelo de este documento presenta una estrategia de teoría de la información no supervisada que puede identificar datos de alta calidad de el usuario no hizo clic en los datos. Modelo de entrenamiento de título corto.

2. Estructura del modelo

La red del modelo PPGAN en su conjunto contiene tres módulos, 1. Incrustación de palabras de comercio electrónico, 2. Generador personalizado de títulos cortos G, 3. Dos discriminadores D diferentes: discriminador verdadero y falso y discriminador CTR. Estos tres módulos juntos constituyen nuestro marco de modelo de generación de títulos cortos personalizado.

1. Incorporación de palabras de comercio electrónico

Usamos la herramienta NER de comercio electrónico de AliNLP para identificar títulos de productos y características de usuario, y extraer características de tipo de entidad como "color", "estilo" y "categoría". Por ejemplo, en el título del producto "Pantalones deportivos rojos de la marca Nike con envío gratuito", "Envío gratuito" se marca como "servicio de mercado", "Nike" se marca como "marca", "rojo" se marca como "color" y "pantalones deportivos" Marcar como "categoría". Para cada palabra, empalmamos su vector de palabra y el vector NER juntos como la entrada de vector de palabra del modelo.

Para la secuencia del título del producto, cada palabra se representa como:

Para la secuencia de funciones del usuario, cada palabra se representa como:

Al agregar la información NER de la palabra, el modelo puede aprender la importancia de cada palabra y mantener las palabras importantes en el título corto.

2. Generador de títulos cortos personalizado

Para el generador de títulos cortos, la información de entrada es el título del producto y las características del usuario. El título corto se extrae del título original mediante el modelo de redes de punteros de un paso. En comparación con la red de punteros de varios pasos tradicional, el puntero de un paso la red está decodificando la etapa de decodificación de un paso, evitando el problema de extracción repetitiva de la decodificación de múltiples pasos.

Construcción de las características del usuario: utilizamos métodos estadísticos para calcular las características del usuario en función de los registros de clics del usuario en la plataforma. Específicamente, para el producto item_t en el que el usuario ha hecho clic, recopile los datos de los 10 productos en los que se ha hecho clic antes de hacer clic en el artículo. y utilice estadísticas de frecuencia de palabras para tomar las TOP10 palabras como características de usuario U = (u_1, u_2, ..., u_10).

Como se muestra en la figura, después de que se construye la característica del usuario, la secuencia de vectores de características del usuario se ingresa en la red GRU y se calcula la representación del usuario.

Para integrar las características del usuario y el producto en el que se hizo clic, empalmamos la representación del usuario con el vector de palabra del producto y luego ingresamos el codificador GRU para la codificación.

En la parte de decodificación, a través de la decodificación de un paso basada en el mecanismo de atención y la capa softmax, se emite la distribución de probabilidad en la secuencia de entrada original, y la palabra con la probabilidad TopK se toma como título corto generado.

3. Discriminador

El discriminador D es un clasificador binario que toma la distribución de salida Pg del generador G y la distribución de título corto real Pr como entradas, y se usa para discriminar si es un título corto real escrito a mano por un comerciante o un título pseudo corto generado por una maquina. Definimos la distribución de entrada de títulos cortos reales de la siguiente manera, donde T es el título largo original, S = (s_1, s_2, ..., s_m) es el título corto real y m es la longitud del título corto.

Al mismo tiempo, para que el discriminador no sea tan fácil para distinguir la autenticidad de los títulos cortos, agregamos ruido que obedece a la distribución gaussiana a la distribución de títulos cortos auténticos para hacer más estable el proceso de entrenamiento.

Multiplique estas dos distribuciones de títulos con el vector de palabra de producto para obtener la representación vectorial del "título corto", que se ingresa en el discriminador D para la discriminación después de empalmar las características del usuario.
La red discriminadora D adopta la red neuronal convolucional de uso común, que incluye el discriminador verdadero y falso y el discriminador CTR. El discriminador de verdadero y falso se utiliza para acercar el título corto generado por el generador al título corto real en el que hace clic el usuario; además, considerando la escasez del conjunto de datos, el tamaño de la muestra de los clics del usuario es menor que el tamaño de la muestra. de clics sin clics, por lo que esperamos introducir la discriminación de CTR, para identificar modelos de entrenamiento de títulos cortos de alta calidad a partir de una gran cantidad de muestras sin hacer clic.

4. Combatir la pérdida de entrenamiento y el proceso de entrenamiento modelo

El generador G hace todo lo posible para generar una distribución de títulos cortos cercana a la real para el usuario objetivo, y el discriminador D hace todo lo posible para maximizar la distancia entre las distribuciones de títulos cortos verdaderos y falsos, a fin de hacer un juicio correcto. El flujo del algoritmo se muestra en la siguiente figura:

• Primero, use una gran cantidad de pares de títulos largos y cortos para pre-entrenar el generador G para actualizar rápidamente nuestro generador. Dado que no hay suficientes datos de clics del usuario para cubrir los productos utilizados, solo usamos las características del título del producto en la etapa de capacitación previa, sin considerar las características del usuario. Usamos la función de pérdida L2 como la pérdida cuando se entrena previamente el generador G:

  

• En la etapa de entrenamiento formal 1, los datos de entrada son los datos del producto [T +, U +, S +] en los que el usuario hace clic, y las funciones de pérdida del generador G y el discriminador de autenticidad D son las siguientes:

  

  

• En la fase de formación formal 2, los datos de entrada son los datos del producto [T-, U-] en los que el usuario no hizo clic. De hecho, el título corto en el que el usuario no hace clic no solo se debe a la mala calidad del título corto, sino también a que el usuario no está interesado en el producto en sí. Por lo tanto, consideramos utilizar un método de confrontación para identificar titulares cortos en los que los usuarios no hacen clic pero que son de buena calidad. Aprendemos del trabajo existente para maximizar el límite de información entre ejemplos positivos y negativos, y agregamos la entropía condicional aditiva M_D (x) entre las categorías positivas y negativas en la pérdida del discriminador. La función de pérdida del discriminador CTR es la siguiente:

  

  

3. Resultados experimentales y efectos en línea

1. Muestra de datos y capacitación

Nuestras muestras de capacitación provienen de títulos cortos escritos a mano por comerciantes en la plataforma 1688 y datos de comportamiento del usuario en escenarios de títulos cortos existentes. El conjunto de datos se puede representar como, donde O es el título largo original del producto, S es el título corto escrito a mano, y U es la secuencia de funciones del usuario, L es la etiqueta del usuario del producto (1 significa clic, 0 significa que no hay clic), la muestra se muestra en la siguiente figura. El tamaño de la muestra de clics del usuario es de 640.000 y el tamaño de la muestra sin clics del usuario es de 6,95 millones, por lo que el conjunto de datos es relativamente escaso. Además, las muestras de datos se han sometido a cierto trabajo de limpieza de datos, porque la calidad de los datos de la muestra de entrenamiento afectará gravemente a la calidad del título corto final. Nuestro procesamiento incluye principalmente la eliminación de corpus sucio, el filtrado de caracteres anormales y la limitación de la longitud del título original Al mismo tiempo, AliNLP se utiliza para el reconocimiento de entidades con nombre de las características del usuario y del producto.

La muestra de datos es la siguiente:

2. Ejemplo de generación de un título corto personalizado

En comparación con el método de comparación, nuestro modelo PPGAN puede generar títulos cortos personalizados extrayendo información que es de interés para usuarios específicos de los títulos largos originales de acuerdo con diferentes características de usuario. La longitud de generación del título corto en la tabla se establece en 5. De acuerdo con los diferentes requisitos de producto y escena, podemos generar títulos cortos personalizados de diferentes longitudes, de modo que los títulos cortos generados sean más adecuados para las necesidades comerciales.

La muestra generada por el experimento PPGAN se muestra en la siguiente figura:

3. Efecto de aterrizaje de 1688

En la actualidad, el título corto personalizado se ha implementado en muchas escenas de la plataforma 1688, incluido el trabajo en equipo, las ventas diarias y la recolección de fábrica. Realizamos una prueba AB en "Buscar productos" en la lista y los resultados mostraron que el valor absoluto del título corto personalizado en tiempo real era aproximadamente 2,3 puntos más alto que el valor absoluto del título largo truncado, y aproximadamente 1,7 puntos más alto que el título breve estadístico. Y en la gran promoción 920 en 2019, todos se conectaron en línea al lugar de la gran promoción, asumiendo el volumen de llamadas de más de 1100 QPS y potenciando completamente la escena de la guía de compras 1688. Se ha depositado como una herramienta técnica del lado de la escena para operación.

Los efectos en línea son los siguientes:

Cuatro, referencias

[1] Martin Arjovsky, Soumith Chintala y Leon Bottou. 2017. Wasserstein Generative Adversarial Networks. En ICML. 214-223.
[2] Oriol Vinyals, Meire Fortunato y Navdeep Jaitly. 2015. Redes de punteros. En NIPS. 2692–2700.
[3] Tao Zhang, Jin Zhang, Chengfu Huo y Weijun Ren. 2019. Generación automática de descripción de producto controlada por patrones en comercio electrónico. En WWW. 2355–2365.
[4] Jiatao Gu, Zhengdong Lu, Hang Li y Victor OK Li. 2016. Incorporación del mecanismo de copia en el aprendizaje secuencia a secuencia. En ACL. 1631-1640.
[5] Yue Deng, Yilin Shen y Hongxia Jin. 2017. Disfrazar redes adversas para la predicción de la tasa de clics. En IJCAI. 1589-1595.