#Reading Paper# 【Revisión de Recomendaciones Secuenciales】IJCAI'19: Sistemas de Recomendaciones Secuenciales: Desafíos, Avances y Perspectivas

#Título de la tesis: [Recomendación de secuencia] Sistemas de recomendación secuencial: desafíos, avances y perspectivas (Sistema de recomendación de secuencia: desafíos, procesos y perspectivas) #Dirección del artículo: https://www.researchgate.net/publication/337183009_Sequential_Recommender_Systems_Challenges_Progress_and_Prospects #Paper Código
fuente
abierto Fuente Dirección : No
Conferencia de afiliación a #Tesis: IJCAI 2019
Afiliación a #Tesis: Universidad de Shanghai para la Ciencia y la Tecnología, Universidad Macquarie, Universidad de Tecnología de Sídney

1. Introducción

El sistema de recomendación secuencial (SRS) es diferente de los sistemas de recomendación tradicionales (filtrado colaborativo, filtrado basado en contenido), los sistemas de recomendación tradicionales, como los sistemas de recomendación de filtrado colaborativo y basado en contenido, modelan a los usuarios de forma estática. La interacción con los productos solo puede capturar las preferencias generalizadas de los usuarios. Por el contrario, los SRS modelan las interacciones usuario-elemento como una secuencia dinámica y explotan las dependencias de secuencia para capturar las preferencias actuales y recientes del usuario.

El autor analiza primero la motivación del surgimiento de SRS, hay tres puntos principales:

1. La interacción entre el usuario y el elemento depende de la secuencia.
   Por ejemplo, en la figura anterior, Jimmy primero compró un boleto de avión y luego se preparó para reservar un hotel. En este momento, su comportamiento de reservar un hotel está básicamente relacionado con su comportamiento de comprar un billete de avión, y elegirá un vuelo desde el aeropuerto, no muy lejos del hotel. Después de reservar el hotel, su conducta de alquiler de automóviles se verá afectada por la reserva del hotel. Es probable que Jimmy elija una empresa de alquiler de automóviles cuyo lugar de recogida esté más cerca del hotel. Por tanto, en esta serie de interacciones, cada comportamiento de Jimmy depende del comportamiento anterior. Estas dependencias son muy comunes en los datos transaccionales.
2. Es fácil entender que el interés de los usuarios y la popularidad de los artículos cambian dinámicamente
   , por ejemplo, antes me gustaba usar iPhone, pero ahora me gusta usar Huawei, los teléfonos móviles Nokia solían ser muy populares, pero ahora lo son. raro... Estos cambios dinámicos solo se pueden capturar de manera efectiva confiando en SRS.
3. La interacción usuario-elemento generalmente ocurre en un contexto secuencial específico, y
   diferentes contextos conducirán a diferentes comportamientos del usuario. Por ejemplo, cuando me desplazo por Douyin, si de repente me encuentro con un video que me interesa mucho, probablemente me gustará, pero si me gustan algunos videos similares y sigo recomendándomelos, entonces probablemente simplemente deslice el dedo. porque estoy aburrido. SRS es más fácil que los sistemas de recomendación tradicionales para enriquecer los resultados de recomendación y evitar la homogeneidad.

A continuación, el autor aclara la forma de recomendación serializada, es decir, el sistema de recomendación serializada se obtiene maximizando la siguiente función :

La recomendación de secuencia es diferente de las tareas de modelado de secuencias en el sentido general, principalmente porque la estructura de secuencia de estas tareas es relativamente simple. , a menudo solo contiene elementos atómicos (como palabras generadas por texto), mientras que la recomendación de secuencia tiene una estructura más compleja (genera una tupla).

2. Características y desafíos de los datos

2.1 Manejo de largas secuencias de interacción usuario-elemento

Una secuencia de interacción usuario-elemento más larga contiene más interacciones y dependencias más complejas. Esta característica de los datos presenta dos desafíos.

1. El desafío de aprender dependencias secuenciales de orden superior
   En secuencias largas, a menudo las dependencias son de orden superior y no son relativamente fáciles de resolver mediante cadenas de Markov o máquinas de factorización, porque las relaciones de orden superior a menudo implican dependencias en cascada multinivel más complejas. En la actualidad, la principal solución a este desafío es la cadena de Markov o RNN, pero ambas tienen limitaciones: la cantidad de parámetros de la cadena de Markov de alto orden aumenta exponencialmente con el orden, la fuerte suposición de secuencia de RNN limita el orden flexible de RNN. la escena.
2. Aprendizaje de dependencias de secuencias a largo plazo
   En secuencias largas, a veces dos elementos con dependencias pueden estar muy separados. Por ejemplo, tal secuencia de compras {rosa, huevo, pan, leche, jarrón}, aunque la rosa y el jarrón están muy separados, obviamente existe una relación de dependencia. Si se utilizan LSTM o GRU para capturar relaciones a largo plazo, es fácil generar una dependencia falsa, como pensar que existe una dependencia entre la leche y los jarrones, porque el modelo puede suponer incorrectamente que los elementos adyacentes en una secuencia son altamente dependientes. . El trabajo actual para resolver este problema combina principalmente múltiples submodelos para aprovechar las ventajas del modelo mixto, pero todavía es limitado en general.

2.2 Procesar secuencias de interacción de elementos de usuario en un orden flexible

En el mundo real, algunas secuencias de interacción usuario-elemento están estrictamente ordenadas, mientras que otras no, es decir, no todas las interacciones adyacentes dependen del orden .

Por ejemplo, en la secuencia de compras S2={leche, mantequilla, harina}, no importa si comprar leche o mantequilla primero, pero comprar ambos productos dará lugar a una mayor probabilidad de comprar harina a continuación; es decir, la diferencia entre leche y mantequilla No hay un orden estricto, pero el orden de las harinas depende de cómo se combinen. Por lo tanto, para una secuencia con ordenación flexible, capturar dependencias de orden establecido es mucho mejor que capturar dependencias puntuales, ya que la primera es ambigua y no asume una ordenación estricta en las interacciones usuario-elemento. Por lo tanto, cómo capturar la correlación de secuencias establecidas bajo el supuesto de orden flexible se convierte en un tema clave en los SRS para manejar secuencias de órdenes flexibles.

En la actualidad, no hay muchos estudios sobre este tema en el país y en el extranjero. Los SRS existentes basados ​​en cadenas de Markov, máquinas de factorización o RNN solo pueden manejar dependencias de puntos, pero no son buenos para modelar y capturar dependencias de conjuntos. Algunos trabajos actuales intentan capturar las dependencias locales y globales explotando las fortalezas de las CNN, es decir, una serie de matrices de incrustación que interactúan.

2.3 Manejo de interacciones ruidosas entre el usuario y el elemento

En una secuencia de interacción usuario-elemento, algunas interacciones históricas están fuertemente correlacionadas con la siguiente interacción, mientras que otras pueden estar débilmente correlacionadas o incluso no estar correlacionadas.

Por ejemplo, la rosa en la secuencia {tocino, rosa, huevo, pan} es un elemento de ruido y no existe una relación de dependencia con los otros tres elementos. A continuación, es probable que el usuario compre leche, que no está relacionada con las rosas, pero sí con los otros tres artículos. Por lo tanto, el desafío que plantea esta función es cómo aprender las dependencias secuenciales de forma precisa pero discriminatoria. El trabajo existente parte principalmente del modelo de atención y del modelo de memoria.

2.4 Manejo de secuencias de interacción usuario-elemento con relaciones heterogéneas

Cuando se trata de secuencias de interacción usuario-elemento asociadas con relaciones heterogéneas, cómo capturar de manera efectiva las relaciones heterogéneas incrustadas en las secuencias de interacción usuario-elemento y hacer que funcionen juntas para la recomendación secuencial.

Las relaciones heterogéneas se refieren a diferentes tipos de relaciones que transfieren diferentes tipos de información y deben modelarse de manera diferente en los SRS. Por ejemplo, en una secuencia de interacción usuario-elemento, además de las omnipresentes dependencias secuenciales basadas en ocurrencias entre las interacciones usuario-elemento, también existe una relación basada en la similitud entre los elementos interactivos en términos de sus características. **Además, aunque ambas son dependencias secuenciales, las dependencias secuenciales a largo plazo son bastante diferentes de las dependencias secuenciales a corto plazo y no se pueden modelar de la misma manera.

• En la actualidad, el procesamiento de esta relación se basa principalmente en el modelo mixto.

2.5 Uso de jerarquía para manejar secuencias de interacción de elementos de usuario

Los autores argumentan que hay dos niveles de jerarquía en la secuencia de interacciones. Una es la estructura jerárquica entre los metadatos (metadatos) y la interacción, es decir, el impacto de los atributos demográficos del usuario y las características de los elementos en el comportamiento y las preferencias del usuario; la segunda es la relación jerárquica entre las subsecuencias y las interacciones, a menudo una Las secuencias largas contienen muchas subsecuencias . El desafío correspondiente es cómo lidiar con las dependencias de estas dos jerarquías para generar recomendaciones más precisas.

La dirección de trabajo en este campo es principalmente utilizar modelos de mejora de características de usuarios y elementos, además, también existen estructuras como RNN jerárquico y atención jerárquica.

3. Estado de la investigación

3.1 Modelo de secuencia tradicional

El modelo secuencial tradicional se divide en dos partes, la minería de patrones secuenciales y la cadena de Markow.

1. Minería de patrones secuenciales
   La recomendación basada en patrones secuenciales primero extrae los patrones comunes de los datos de secuencia y luego usa los patrones extraídos para guiar las recomendaciones posteriores. Aunque simple, a menudo produce una gran cantidad de patrones redundantes, que a menudo agregan una gran cantidad de costos innecesarios de tiempo y espacio. Al mismo tiempo, tales métodos a menudo pierden patrones y elementos poco frecuentes, por lo que la recomendación de elementos que no son muy populares será limitada.

2. Modelo de cadena de Markov El
   sistema de recomendación basado en la cadena de Markov utilizará el modelo de cadena de Markov para modelar la conversión de interacción usuario-producto para predecir la próxima interacción. Según la tecnología utilizada, el sistema de recomendación basado en la cadena de Markov se puede dividir en el sistema de recomendación basado en la cadena de Markov básica y el método del sistema de recomendación basado en la incrustación latente de Markov.

El primero calcula directamente las probabilidades de transición en función de los valores observados explícitamente, mientras que el segundo primero incrusta las cadenas de Markov en el espacio euclidiano y luego calcula las probabilidades de transición entre las interacciones en función de sus distancias euclidianas. Hay dos desventajas principales del sistema de recomendación basado en la cadena de Markov. Por un lado, dado que las propiedades de Markov asumen que la interacción actual solo depende de una o unas pocas interacciones recientes, solo pueden capturar dependencias a corto plazo e ignorar las dependencias a largo plazo; por otro lado, solo pueden capturar dependencias puntuales. dependencias sabias e ignorar elementos de usuario Dependencias colectivas que interactúan.

3.2 Representación implícita de recomendaciones de secuencia

El modelo de representación implícita primero aprende la representación latente de cada usuario y elemento, y luego usa la representación aprendida para predecir la siguiente interacción usuario-elemento. Al hacerlo, se pueden capturar más relaciones internas.

1. Máquinas de factorización =
   La recomendación secuencial basada en máquinas de factorización normalmente aprovecha la factorización matricial o la descomposición tensorial para descomponer las interacciones usuario-elemento observadas en factores latentes para usuarios y elementos. La diferencia con el filtrado colaborativo es que la matriz o tensor a descomponer se compone de interacciones, no de puntajes en CF.Dicho modelo se ve fácilmente afectado por la escasez de datos observados, por lo que no puede lograr el efecto de recomendación deseado.

2. Incrustación (Embedding)
   La recomendación serializada basada en la incrustación aprende representaciones latentes de cada usuario y elemento para recomendaciones posteriores mediante la codificación de secuencias de interacción usuario-elemento en un espacio latente. Específicamente, algunos trabajos toman las representaciones latentes aprendidas como entrada de la red para calcular aún más la puntuación de interacción entre los usuarios y los elementos, o el comportamiento de los usuarios posteriores, mientras que otros trabajos las utilizan directamente para calcular métricas como la distancia euclidiana como puntuación de interacción. . El modelo es simple, eficiente y eficiente, y ha mostrado un gran potencial en los últimos años.

3.3 Modelo DNN para recomendación serializada

• Modelo básico de red neuronal

1. Los SRS basados ​​en RNN
   incluyen modelos RNN básicos, LSTM, GRU y otros modelos, así como RNN jerárquicos. Este tipo de modelo casi domina la investigación en el campo de SRS, pero aún presenta deficiencias: primero, es fácil generar dependencias falsas y la suposición es demasiado fuerte (se cree que existe una dependencia entre cada elemento adyacente en la secuencia); el segundo es capturar dependencias punto a punto, ignorando las dependencias de colección.

2. SRS basados ​​en CNN
   CNN trata la matriz de incrustación de secuencias como una imagen (similar a NLP). La ventaja de CNN es que la suposición de la relación de secuencia no es fuerte y aprende el patrón entre diferentes regiones, lo que puede evitar el problema de que la suposición de RNN sea demasiado fuerte. La desventaja es que no es fácil capturar dependencias a largo plazo. .

3. El enfoque de los SRS GNN basados ​​en GNN
   es considerar cada interacción como un nodo y cada secuencia como una ruta. La ventaja del enfoque GNN es la capacidad de proporcionar recomendaciones más explicativas. GNNSRS aún está en pañales.

• modelo avanzado

1. Los modelos de
   atención pueden usarse para enfatizar interacciones relevantes e importantes y minimizar aquellas que son irrelevantes para la siguiente interacción. Se combina ampliamente con modelos como RNN para lidiar con secuencias de interacción ruidosas.
2. Las redes de memoria
   se utilizan para capturar las dependencias entre las interacciones pasadas y las interacciones siguientes, basándose en una matriz de memoria. Las matrices de memoria mejoran el rendimiento del modelo al almacenar y actualizar las interacciones históricas, lo que reduce el impacto de las interacciones irrelevantes.
3. Los modelos de mezcla
   se refieren a modelos que capturan múltiples dependencias mediante la combinación de múltiples modelos. Un ejemplo típico es combinar múltiples codificadores para capturar relaciones a largo y corto plazo respectivamente, y luego aprender una representación de secuencia precisa. Tales modelos también están en su infancia.

4. Trabajo futuro

1. Sistema de recomendación serializado sensible al contexto
   El entorno actual en el que se encuentra un usuario o elemento puede afectar en gran medida la elección de elementos por parte del usuario, lo que debe tenerse en cuenta al hacer recomendaciones. Esto es más necesario en los sistemas de recomendación serializados, donde el contexto puede cambiar con el tiempo. Sin embargo, las recomendaciones de serialización existentes en su mayoría ignoran este importante aspecto. Por lo tanto, la recomendación serializada consciente del contexto será una dirección importante del trabajo futuro;

2. Sistema de recomendación serializado con conciencia social
   Los usuarios viven en una sociedad y se conectan con varias personas tanto en línea como fuera de línea. Las acciones u opiniones de otras personas suelen tener una gran influencia en la elección del usuario. Por lo tanto, en la investigación existente, a menudo ignoramos el impacto social del sistema de recomendación de casos serializados;

3. Sistema de recomendación serializado de Interactive
   La mayoría de los comportamientos de compra en el mundo real son secuenciales en lugar de eventos aislados. En otras palabras, en realidad existe una interacción secuencial entre el usuario y la plataforma de compras (como Amazon). Sin embargo, las recomendaciones serializadas existentes a menudo ignoran esta interacción y solo generan recomendaciones para una acción en un solo paso de tiempo. Cómo combinar las interacciones entre el usuario y el vendedor para generar recomendaciones de varios pasos en el tiempo es una dirección de investigación prometedora;

4. Recomendación serializada entre dominios
   En el mundo real, los artículos comprados por los usuarios dentro de un cierto período de tiempo generalmente provienen de varios dominios en lugar de un dominio. Esencialmente, existen algunas dependencias secuenciales entre elementos de diferentes dominios, como comprar un seguro de automóvil después de comprar un automóvil. Esta dependencia de orden entre dominios se ignora en la mayoría de las recomendaciones serializadas. Por lo tanto, SRS entre dominios es otra dirección de investigación prometedora para generar recomendaciones más precisas utilizando información de otros dominios y recomendaciones más diversas de diferentes dominios.