En la era actual de rápido desarrollo de la información, los sistemas de recomendación son un tema y un campo técnico candente. Algunos proveedores de la nube también brindan servicios SaaS para sistemas de recomendación, como Amazon Personalize de Amazon Cloud Technology, para resolver los problemas de los clientes al crear rápidamente sistemas de recomendación desde cero. ... puntos débiles y dificultades. En nuestra vida diaria, los sistemas de recomendación se pueden ver en todas partes, como compras de comercio electrónico de Amazon, videos iQiyi, Meituan Waimai, videos cortos de Douyin y titulares de hoy, plataformas de transmisión en vivo, etc., que utilizamos con frecuencia. Basado en el sistema de recomendación y los proyectos de publicidad computacional en los que he participado en los últimos años, resumí algunas experiencias prácticas y las compartí con ustedes en forma de una serie de artículos sobre el sistema de recomendación. Espero que todos tengan una Comprensión más nueva y más profunda del sistema de recomendación después de leerlo. Esta serie de artículos incluye: una descripción general del sistema de recomendación, una discusión en profundidad sobre la fase de recuperación en el sistema de recomendación, un proyecto de muestra de la tarea de clasificación y la práctica de ajustar el modelo de clasificación. Más detalles y más detalles pueden consultar mi repositorio de github .
| La comunidad de desarrolladores de tecnología en la nube de Amazon proporciona a los desarrolladores recursos tecnológicos de desarrollo global. Hay documentos técnicos, casos de desarrollo, columnas técnicas, vídeos de formación, actividades y concursos, etc. Ayude a los desarrolladores chinos a conectarse con las tecnologías, ideas y proyectos más avanzados del mundo, y recomiende desarrolladores o tecnologías chinos destacados a la comunidad global de la nube. Si aún no ha prestado atención/favorito, no se apresure cuando vea esto, ¡ haga clic aquí para convertirlo en su tesoro técnico! |
Primero presentamos la descripción general del sistema de recomendación, el contenido general es el siguiente:
- Introducción a los sistemas de recomendación
- Conceptos comunes en los sistemas de recomendación.
- Métricas de evaluación comúnmente utilizadas en sistemas de recomendación
- Estrategia general de retirada para escenarios de recomendación de páginas de inicio
- Estrategia de recuperación para escenarios recomendados en páginas de detalles
- Modelos de clasificación comúnmente utilizados en la fase de clasificación.
- etapa de reordenamiento
- El problema del arranque en frío de los sistemas de recomendación
- Arquitectura del sistema recomendada
Introducción a los sistemas de recomendación
Los sistemas de recomendación se pueden dividir en sistemas de recomendación amplios y sistemas de recomendación restringidos (solo nos centraremos en los sistemas de recomendación restringidos en discusiones futuras), consulte la siguiente tabla:
El sistema de recomendación es un tipo de aplicación que juzga los artículos/servicios que el usuario necesita o le interesa actualmente en función del comportamiento histórico, la relación social, los puntos de interés y el contexto del usuario. El sistema de recomendación en sí es un método de filtrado de información y forma tres métodos principales de filtrado de información junto con la búsqueda y la navegación por categorías. Podemos ver la utilidad del sistema de recomendación desde diferentes perspectivas: para los usuarios, el sistema de recomendación puede ayudarlos a encontrar artículos/servicios favoritos y ayudarlos a tomar decisiones; para los proveedores de servicios, el sistema de recomendación puede brindarles a los usuarios servicios personalizados y mejorar el usuario. confianza y rigidez, y aumentar los ingresos. Se dice que 2/3 de las películas vistas de Netflix provienen del sistema de recomendación, el 38% de los clics de Google News provienen del sistema de recomendación; el 35% de las ventas del comercio electrónico de Amazon provienen de la recomendación del sistema de recomendación.
Para muchas personas (incluyéndome a mí en el pasado), un error común es que la implementación de ingeniería del sistema de recomendación es similar a la de la publicidad computacional. De hecho, la implementación de los dos es bastante diferente, como se muestra en la siguiente tabla:
Conceptos comunes en los sistemas de recomendación.
Escenarios comunes para sistemas de recomendación: recomendación de página de inicio (más énfasis en el centrado en el usuario) y recomendación de página de detalles (más énfasis en el elemento).
Recomendación personalizada y recomendación no personalizada: La recomendación personalizada es casi la corriente principal actual, y consiste en hacer recomendaciones diferentes para cada usuario, es decir, miles de personas y miles de caras. Las recomendaciones de la página de inicio considerarán la personalización y las recomendaciones de la página de detalles considerarán cada vez más la personalización. Los métodos comunes de recomendación no personalizada incluyen: la recomendación de toda la lista de clasificación histórica del mercado (como dentro de 1 año, dentro de 1 mes, dentro de 1 semana); la recomendación de la lista de clasificación histórica de cada categoría (como dentro de 1 año, 1 dentro de un mes, dentro de 1 semana); recomendaciones periódicas relacionadas con festivales (como recomendaciones para artículos durante la Semana Dorada del Día Nacional y las vacaciones de Navidad); recomendaciones relacionadas con emergencias (como recomendaciones para artículos relacionados con enfermedades infecciosas repentinas); Recomendaciones para artículos recién lanzados (por ejemplo, dentro de 1 semana).
La forma del producto del sistema de recomendación: el elemento es la forma de exposición del elemento (como pasar páginas hacia arriba y hacia abajo, pasar páginas hacia la izquierda y hacia la derecha y sus métodos mixtos); la disposición de las particiones de exposición (para un método de recomendación, como Como recomendación TOP-N personalizada, puede considerar poner Otros métodos se incorporan en la fase de recuperación de recomendaciones TOP-N personalizadas como estrategia de recuperación; múltiples métodos de recomendación, cada fila de la recomendación de la página de inicio de Netflix corresponde a un método de recomendación (cada fila de las cuales se puede voltear hacia la izquierda y hacia la derecha para buscar elementos de películas), esto también se denomina recomendaciones mixtas por partición. Por ejemplo, una fila es una recomendación de reproducción exclusiva, una fila es una recomendación popular, una fila es una recomendación de nuevo producto y una fila es un TOP personalizado. -N recomendación). Para facilitar la redacción, hacemos una suposición para la siguiente discusión: solo se utiliza el método de recomendación personalizada y otros métodos se utilizan como estrategia de recuperación de recomendación personalizada.
Etapa de recuperación, etapa de clasificación y etapa de reordenamiento: son las tres etapas de subdivisión de todo el proceso de recomendación personalizada Top-N. En diferentes escenarios (como la recomendación de la página de inicio o la recomendación de la página de detalles), no se requieren las tres etapas para diferentes tipos de usuarios (ya sean usuarios de cola larga o de inicio en frío). Discutiremos los detalles en otra parte de esta serie. de artículos Involucrado en el artículo "Discusión en profundidad sobre la fase de recuperación en sistemas de recomendación". Hay muchos nombres para la fase de reordenamiento, como fase de posprocesamiento del modelo o fase de intervención de operaciones comerciales.
Exploración y utilización: la exploración se refiere a desenterrar algunos elementos relacionados con pasatiempos que no se pueden reflejar en el comportamiento de los usuarios; la utilización se refiere al conocimiento aprendido por el sistema de recomendación en función del comportamiento histórico del usuario y predice que los usuarios con alta probabilidad pueden estar interesados en algo. . Para elementos de inicio en frío y elementos de cola larga, es un enfoque común realizar exploración durante la fase de reordenamiento. En la práctica, a menudo existen posiciones de exposición fijas reservadas para artículos de arranque en frío y artículos de cola larga.
Recomendación sin conexión y recomendación en línea: la llamada recomendación sin conexión significa que la lista de resultados recomendados se calcula previamente y se almacena en un NoSQL basado en memoria (como Amazon ElastiCache para Redis) cuando está fuera de línea y se toma directamente de NoSQL; La llamada recomendación en línea significa que cuando un usuario la solicita, el sistema genera temporalmente una lista de recomendaciones basada en una combinación de reglas, estrategias o modelos.
Recuperación sin conexión y recuperación en línea en tiempo real: la llamada recuperación sin conexión se refiere a calcular previamente el conjunto de candidatos de elementos que deben recuperarse con anticipación y almacenarlo en un NoSQL basado en memoria cuando está fuera de línea; la llamada recuperación en línea real- La recuperación de tiempo se refiere a Lo importante es que cuando llega una solicitud de usuario, el servicio de recuperación obtiene temporalmente candidatos de recuperación de acuerdo con cierta lógica (como usar el modelo para obtener un vector de interés del usuario en tiempo real y luego usar este vector de interés del usuario para la biblioteca de recuperación de vectores para encontrar topK vectores de elementos similares).
Existe una diferencia en la estrategia de recuperación entre los sistemas de recomendación de pagos de comercio electrónico y los sistemas de recomendación de consumo de contenidos como noticias/películas/vídeos. Para el escenario de recomendación de la página de inicio, sus estrategias de recuperación o métodos de recomendación pueden no ser muy diferentes. Para la escena recomendada por la página de detalles, sus estrategias de recuperación son muy diferentes: el sistema de recomendación de consumo de contenido, como noticias / películas / videos, puede colocar la lista obtenida por el método de recomendación en función de la similitud del vector de representación del elemento en una forma más favorable. posición de exposición o Sería mejor dar la máxima prioridad a la estrategia de recuperación basada en la similitud del vector de representación del artículo (porque para escenarios de consumo de contenido, los usuarios prefieren la similitud del contenido del artículo en sí); y para la recomendación de pago de comercio electrónico sistemas, puede ser necesario Hay más métodos de recomendación o estrategias de recuperación que sistemas de recomendación de consumo de contenido. Por ejemplo, los métodos de recomendación de asociación basados en elementos o estrategias de recuperación pueden ser necesarios en las recomendaciones de la página de detalles del comercio electrónico, pero opcionales en los sistemas de recomendación de consumo de contenido. Por ejemplo, la recomendación asociada de "comprados juntos con frecuencia" y/o la recomendación asociada de "los usuarios que buscaron este artículo también navegaron" (porque en este escenario, el usuario actual puede estar interesado en el siguiente artículo además de prestar atención al elemento en la página de detalles (otros elementos con los que este elemento aparece a menudo).
Para los sistemas de recomendación de pagos de comercio electrónico, puede haber escenarios como la recomendación de la página del carrito de compras y la recomendación de la página de finalización del pago. Para tal escenario, puede ser mejor colocar la lista obtenida por el método de recomendación de asociación en una posición de exposición más favorable o dar la máxima prioridad a la estrategia de recuperación de recomendación de asociación, mientras que la estrategia de recuperación o método de recomendación basado en la similitud de la El vector de representación de artículos puede estar en el Este escenario no es adecuado, es decir, cuando la intención de compra actual es muy cierta, el usuario prefiere la coexistencia entre artículos, porque probablemente no quiera comprar otro artículo con características similares. contenido inmediatamente. .
Métricas de evaluación comúnmente utilizadas en sistemas de recomendación
Hay dos tipos principales de indicadores de evaluación: indicadores de evaluación empresarial en línea e indicadores de evaluación fuera de línea. En términos generales, los indicadores de evaluación de negocios en línea son más importantes (a menudo es necesario analizar varios indicadores juntos), que incluyen indicadores de conversión (como tasa de conversión, tasa de clics, facturación total de GMV, etc.) e indicadores de satisfacción del consumo de contenido (como la retención). velocidad, tiempo de permanencia, tiempo de visualización, etc.)
Entre los indicadores de evaluación fuera de línea, los indicadores más utilizados son AUC y GAUC, especialmente AUC. El AUC se subdivide en AUC-ROC y AUC-PR, siendo probablemente el AUC-ROC el más utilizado. AUC-ROC significa que dadas una muestra positiva aleatoria y una muestra negativa, la probabilidad de que el clasificador genere la muestra positiva como positiva es mayor que la probabilidad de que el clasificador genere la muestra negativa como positiva. GAUC (Grupo AUC) calcula el AUC de cada usuario, luego pondera el promedio y finalmente obtiene el Grupo AUC. En el procesamiento real, el peso generalmente se puede establecer en el número de vistas o clics de cada usuario, y es necesario filtre si un solo usuario es todo positivo o negativo. Para la situación de muestra, la fórmula específica es la siguiente:
Cuando esté fuera de línea, es mejor prestar atención a los indicadores AUC y GAUC. En la práctica, no busque demasiado deliberadamente un AUC alto del conjunto de verificación fuera de línea. Un AUC demasiado alto del conjunto de verificación puede indicar que el modelo está sobreajustado a este conjunto de verificación y el efecto en línea puede ser deficiente. Generalmente, el AUC fuera de línea puede estar entre 0,7 y 0,85 antes de conectarse.
Estrategia general de retirada para escenarios de recomendación de páginas de inicio
Estrategia de retirada basada en calor/popularidad/tabla de clasificación
Se puede combinar a partir de dos dimensiones: el período estadístico y la categoría de nivel superior del artículo. Por ejemplo, cuente el número de evaluaciones de todos los elementos con el mismo propósito y la puntuación promedio del elemento dentro de un cierto período de tiempo, y clasifique según las calificaciones. Dado que el número de evaluaciones de diferentes elementos puede variar mucho, ordenar directamente basado en la puntuación media no es eficaz. En aras de la justicia, es más razonable utilizar puntuación ponderada; puede consultar la siguiente fórmula:
v es el número de usuarios que participan en la puntuación de un elemento y m es el umbral del número de usuarios que puntúan para la selección, es decir, si el número de usuarios que puntúan un elemento es inferior al umbral, el elemento se ignorará. (por ejemplo, se utiliza el 20% del número de usuarios de puntuación) % cuantil para determinar el umbral), R es la puntuación promedio del ítem y C es la puntuación promedio de todos los ítems.
Estrategia de recuperación basada en el retrato del artículo.
El llamado retrato del artículo se refiere a la representación de un determinado aspecto del artículo en sí. Por ejemplo, la marca del artículo, el precio del artículo, la categoría del artículo, etc., se denominan retratos del artículo. Estos retratos tienen significados físicos obvios y los llamamos retratos explícitos; si la identificación del artículo El objeto se aprende a través de un modelo de "conocimiento negro". A este conocimiento negro lo llamamos incrustación, esta incrustación es inexplicable y lo llamamos retrato implícito. Desde la perspectiva de los retratos explícitos y los retratos implícitos, las estrategias de recuperación basadas en retratos de elementos se dividen naturalmente en: recuperación basada en el contenido del elemento y recuperación basada en la incrustación general del elemento.
La recuperación basada en retratos de elementos en el escenario de recomendación de la página de inicio se basa en el comportamiento denso del usuario actual (el comportamiento denso significa que el usuario ha actuado sobre muchos elementos, no solo 3 o 4 elementos), que se presentará más adelante. sobre la similitud del vector de representación del elemento en la escena de recomendación de la página de detalles, no es necesario considerar el comportamiento denso del usuario actual. Para el proceso de recuperación basado en el contenido del elemento, la representación estructurada y la representación no estructurada del elemento no deben concatenarse directamente ni usarse para calcular la similitud entre vectores, porque no son representaciones del mismo espacio. Si desea calcular la similitud del vector de representación, lo mejor es usarlo como dos representaciones diferentes del artículo y como dos estrategias de recuperación diferentes; si se basa en un modelo supervisado para clasificar y modelar las preferencias del usuario, representación estructurada y Las representaciones no estructuradas se pueden modelar juntas como características en un modelo.
Estrategia de recuperación basada en filtrado colaborativo.
Este método solo está diseñado en función de los datos de comportamiento del usuario, es decir, en función de la matriz Usuario-Artículo o el gráfico compuesto por usuario y artículo, y no incluye ninguna otra característica. En esencia, es la idea de completar la matriz. Es precisamente debido al procesamiento basado en matrices que mientras el usuario o el elemento cambie, o incluso la acción cambie, es posible que sea necesario volver a calcular o volver a capacitar (actualmente hay algunos métodos en la industria para realizar filtrado colaborativo incremental o filtrado colaborativo casi en tiempo real). La estrategia de recuperación basada en el filtrado colaborativo se subdivide en los siguientes tres métodos: filtrado colaborativo basado en usuarios/UserCF; filtrado colaborativo basado en elementos/ItemCF; filtrado colaborativo basado en modelos.
- Basado en el filtrado colaborativo basado en usuarios, la idea central es calcular primero el conjunto de vecinos del usuario objetivo de acuerdo con la similitud y luego usar la combinación ponderada de puntuaciones/interacciones de usuarios vecinos para hacer recomendaciones para el usuario objetivo. Por lo general, se divide en tres pasos: primero, use la matriz de calificación/interacción de elementos de todos los usuarios para calcular la similitud entre el usuario objetivo y otros usuarios (usando el coeficiente de correlación de Pearson, similitud de coseno, etc.); luego seleccione el más similar a el usuario objetivo K usuarios; finalmente, prediga el nivel de calificación/interés del usuario objetivo para cada elemento que no haya calificado/interactuado por sí mismo mediante la suma ponderada de calificaciones/interacciones de los usuarios vecinos. La ponderación aquí se refiere al uso de la similitud entre usuarios como la ponderación de la puntuación/interacción, como sim(u,ui) en la fórmula de la siguiente figura.
U en la fórmula anterior representa el conjunto de usuarios vecinos del usuario objetivo u (es decir, el conjunto de usuarios similares topK), y s representa el elemento que apareció en la matriz de interacción usuario-elemento y con el que interactuaron los usuarios vecinos. y no ha sido interactuado por el elemento anterior del usuario objetivo. puntuación (ui, s) es la preferencia de la interfaz de usuario del usuario para los elementos, y para la retroalimentación implícita, es 1 (siempre que el usuario no califique directamente el comportamiento de la operación, se considera retroalimentación implícita, incluida la navegación, el clic, la reproducción, favoritos, comentarios, me gusta, retweets, etc.) y para comentarios no implícitos, el valor es la calificación del usuario para el elemento.
La principal desventaja de UserCF es que a medida que aumenta el número de usuarios del sitio web, la complejidad temporal y espacial de sus cálculos se disparará con el crecimiento de usuarios. Los sitios web de noticias/información/conocimiento generalmente utilizan CF basados en usuarios para recordar, debido a que los artículos de este tipo de sitios web se actualizan demasiado rápido y en demasiadas ocasiones, puede que no sea adecuado utilizar CF basados en elementos.
- Filtrado colaborativo basado en elementos (basado en elementos), el núcleo es calcular la similitud de dos elementos en función de la matriz de coocurrencia elemento-elemento a través de una medida de similitud, que es diferente del método de recomendación basado en contenido, y existe aquí no se necesitan características del artículo. El modelado en sí se basa completamente en los datos históricos del usuario sobre el comportamiento del artículo. El método se divide principalmente en tres pasos: primero, es necesario construir una matriz de coexistencia de elementos, recorrer los datos de entrenamiento, calcular la cantidad de usuarios a los que les gustan dos o dos elementos y completarlos en la matriz. Luego calcule la similitud entre elementos, debe castigar los elementos populares y los usuarios activos, la fórmula es la siguiente:
Genere una lista de recomendaciones para el usuario según la similitud del elemento y el comportamiento histórico del usuario:
S en la fórmula anterior representa la colección de elementos que aparecen en el conjunto de entrenamiento; i es el elemento sobre el que ha actuado el usuario u y aparece en el conjunto de entrenamiento;
Se refiere a la calificación del usuario objetivo u en el elemento i (la retroalimentación explícita es la calificación específica del usuario y el valor de la retroalimentación implícita es 1).
ItemCF Puede que sea la estrategia de retirada más utilizada en la industria. Por ejemplo, el comercio electrónico de Amazon, los vídeos en línea de Netflix y otros sitios web suelen utilizar ItemCF como uno de los retiros en las recomendaciones de su página de inicio.
- El filtrado colaborativo basado en modelos es diferente de los dos métodos basados en vecindarios anteriores: el CF basado en modelos utiliza el aprendizaje automático tradicional para el modelado. Como SVD y sus variantes, modelos gráficos como SimRank, etc. SVD y sus variantes se basan en la matriz de elementos de usuario para la descomposición matricial. Descomponen la matriz de puntuación de elementos de usuario en el producto de dos matrices de bajo rango. Estas dos matrices de bajo rango son los conjuntos de vectores ocultos de Usuario y Elemento respectivamente. El interés del usuario en elementos invisibles se predice a través del producto escalar de los vectores latentes de Usuario y Elemento. Desde esta perspectiva, la descomposición matricial también es un método para generar representaciones de incrustación.
Estrategia de recuperación basada en el retrato del usuario.
En pocas palabras, los retratos de usuarios son etiquetas para los usuarios. Uno de los propósitos importantes del etiquetado es permitir que las personas comprendan y faciliten el procesamiento informático. El recuerdo basado en retratos de usuarios es la esencia de la recomendación personalizada, porque la personalización se refleja a través de retratos de usuarios. Los retratos de usuarios incluyen las siguientes tres categorías:
La idea general de implementación del retrato de usuario es la siguiente:
Resumir
Con esto concluye la primera conferencia de una descripción general de los sistemas de recomendación. Este artículo presenta primero los conceptos comunes y los indicadores de evaluación comúnmente utilizados del sistema de recomendación, y luego presenta en detalle las cuatro estrategias generales de recuperación para escenarios de recomendación de páginas de inicio, a saber, la estrategia de recuperación basada en popularidad / popularidad / lista de clasificación, la estrategia de recuperación basada en en el retrato del artículo y la estrategia de recuperación basada en la colaboración. Estrategia de recuperación filtrada y estrategia de recuperación basada en el retrato del usuario. Creo que ahora todos tienen una comprensión más profunda del sistema de recomendación. En la segunda conferencia, continuaremos presentando el resto de la descripción general del sistema de recomendación. Gracias por leer.
Liang Yuhui es un experto técnico en productos de aprendizaje automático con tecnología en la nube de Amazon, responsable de la consulta y el diseño de soluciones de aprendizaje automático basadas en la tecnología en la nube de Amazon, centrándose en la promoción y aplicación del aprendizaje automático y participando profundamente en la construcción y optimización de muchos proyectos reales. Proyectos de aprendizaje automático de clientes. Tiene amplia experiencia en entrenamiento distribuido de modelos de aprendizaje profundo, sistemas de recomendación y publicidad computacional.
Fuente del artículo: https://dev.amazoncloud.cn/column/article/630b3545269604139cb5e9e8?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=CSDN