El tiempo de permanencia de los usuarios en la escena de comida para llevar es menor que el del comercio electrónico tradicional, y existen requisitos más altos para la comprensión y la retroalimentación de las necesidades de los usuarios en tiempo real. En respuesta a los problemas comerciales, el equipo de recomendación de entrega de alimentos ha seguido invirtiendo desde 2021 y finalmente exploró un conjunto de arquitectura y estrategias de recomendación interactiva adecuadas para escenarios de entrega de alimentos y logró buenos rendimientos. A continuación, se presentarán en detalle los desafíos y las soluciones encontrados en la creación de recomendaciones interactivas para el feed de la página de inicio para llevar.
-
1. Antecedentes
-
1.1 ¿Qué es la recomendación interactiva?
-
1.2 ¿Por qué necesitamos recomendaciones interactivas?
-
-
2. Problemas y desafíos
-
3. Tareas principales
-
3.1 Marco de recomendación interactivo
-
3.2 Métodos de evaluación e indicadores de evaluación
-
3.3 Comprender la intención del usuario
-
3.4 Estrategia de clasificación recomendada
-
-
4. Resumen y perspectiva
-
5. Autor de este artículo
-
6. Referencias
-
7. Información de contratación
1. Antecedentes
1.1 ¿Qué es la recomendación interactiva?
La recomendación interactiva es un módulo de producto de recomendación interactivo en tiempo real, que principalmente hace recomendaciones de manera interactiva mediante la comprensión de las necesidades del usuario. La recomendación interactiva fue propuesta por Youtube en 2018 [1], que se utiliza principalmente para resolver el retraso del sistema de recomendación [2] y el problema de la interacción débil con los usuarios.
A partir de la segunda mitad de 2021, el equipo técnico de recomendación de entrega de alimentos de Meituan continuará explorando el feed de la página de inicio de entrega de alimentos, y la cantidad total se completará en la primera mitad de 2022. El proceso específico se muestra en el video 1: después de que el usuario ingresa a la página de detalles del comerciante desde el feed de la página de inicio y sale, el nuevo contenido recomendado se inserta dinámicamente en la lista de recomendaciones del usuario. Su principal ventaja es insertar dinámicamente tarjetas para recibir comentarios de acuerdo con las necesidades en tiempo real de los usuarios, mejorando así la experiencia del usuario.
Video 1 Formulario de recomendación interactivo en el feed de la página de inicio de comida para llevar
1.2 ¿Por qué necesitamos recomendaciones interactivas?
Descubrimos que el feed de la página de inicio para llevar tiene puntos débiles en la captura y la retroalimentación de los intereses instantáneos de los usuarios , y la eficiencia de compra y la experiencia de los usuarios "comparativos" no son buenas. El feed de la página de inicio para llevar es uno de los principales escenarios de compra para los usuarios panintencionales. Los usuarios generalmente necesitan hacer algunas comparaciones en el proceso de navegación para ordenar, a fin de converger gradualmente sus intenciones y luego tomar una decisión final.
Sin embargo, limitado por el modo de cambio de página de la lista larga, el feed de la página de inicio no es capaz de ajustar en tiempo real los resultados de la recomendación de acuerdo con las necesidades del usuario. El rendimiento específico es que la profundidad de navegación de algunos usuarios es inferior a una página y el sistema de recomendaciones no tiene ninguna oportunidad adicional de ajustar los resultados de las recomendaciones de acuerdo con los intereses del usuario. Aunque la otra parte de los usuarios tiene una gran profundidad de navegación, el sistema de recomendación necesita esperar hasta que se cambie de página para volver a comprender las intenciones del usuario, y el rendimiento en tiempo real es insuficiente.
Las principales formas de productos para optimizar tales problemas en la industria incluyen recomendaciones interactivas, cambio de página dinámico y reorganización en el dispositivo. Dado que la recomendación interactiva se inserta dentro del rango visible del usuario, la percepción del usuario es fuerte; las dos últimas formas principales actualizan la recomendación en el área invisible del usuario y la percepción del usuario es relativamente débil. De hecho, estas tres formas se han probado en Meituan Waimai.Este artículo se centra en la introducción de recomendaciones interactivas.
2. Problemas y desafíos
Cuando construimos recomendaciones interactivas en la escena de la entrega, enfrentamos principalmente las siguientes dificultades y desafíos:
-
A diferencia de los sistemas de recomendación tradicionales, las recomendaciones interactivas son aquellas activadas por los usuarios. En el escenario de entrega de alimentos, nuestra solución principal es cómo satisfacer mejor las necesidades en tiempo real de los usuarios y construir un sistema de recomendaciones basado en el marco inteligente de terminal adecuado para la entrega de alimentos. .El problema.
-
Como un módulo personalizado dentro del feed de la página de inicio, no es suficiente optimizar un solo módulo para la recomendación interactiva, sino también considerar la eficiencia de compra general del feed de la página de inicio. Luego, cómo elegir el objetivo de optimización y cómo medir el efecto y los beneficios son los segundos problemas que tenemos ante nosotros.
-
El formulario del feed principal es un flujo de productos en cascada de dos columnas, pero el feed de la página de inicio para llevar es una lista de una sola columna dominada por los comerciantes. momento oportuno, es el tercer problema al que nos enfrentamos.
-
La recomendación interactiva tiene un efecto de inserción dinámica, y la sensación del usuario de buenos o malos resultados de recomendación será más evidente. El cuarto problema al que nos enfrentamos es cómo comprender mejor las intenciones inmediatas del usuario y cómo utilizar los resultados de recomendación de la lista de feeds de la página de inicio para optimizar la tarjeta de un solo comerciante recomendada de forma interactiva.
A partir de los cuatro aspectos anteriores, este artículo presentará en detalle todo el proceso de creación de la recomendación interactiva del feed de la página de inicio para llevar de 0 a 1, así como las soluciones a los problemas anteriores.
3. Tareas principales
3.1 Marco de recomendación interactivo
3.1.1 Enlace general
Como se mencionó anteriormente, para realizar recomendaciones interactivas, es muy importante crear un sistema de recomendaciones adecuado para llevar y basado en el marco inteligente de la terminal. La idea de construcción se puede resumir en "4W1H":
-
Dónde/Cómo : ¿Dónde se muestra la tarjeta de recomendación interactiva? ¿Cuál es la forma de visualización de la tarjeta de recomendación interactiva? relacionado con la forma del producto.
-
Quién/Cuándo : ¿Qué tipo de usuarios deberían activar las recomendaciones interactivas? ¿Cuándo se activa? Implica la comprensión de la intención del usuario.
-
Qué : ¿Qué debe mostrar una tarjeta de recomendación interactiva? Las estrategias de referencia están involucradas.
Con base en el pensamiento y la discusión de los problemas anteriores, finalmente creamos un conjunto de enlaces de recomendación interactivos adecuados para las fuentes de la página de inicio para llevar junto con múltiples equipos relacionados, como producto, inteligencia de terminal, cliente, servicio de aplicación e ingeniería de recomendación.
Figura 1 Enlace general de recomendaciones interactivas
La figura 1 anterior muestra todo el proceso desde que "el usuario hace clic en la tarjeta de comerciante del feed de la página de inicio" hasta la visualización de la tarjeta de recomendación interactiva. Después de que el usuario ingresa a la página de pedido, el cliente invoca el motor de comprensión de intención inteligente del cliente; después de la se activan las condiciones, se realizan el procesamiento, el cálculo y el almacenamiento de características, y las características calculadas se pasan al cliente para ensamblar la solicitud de recomendación; la solicitud de recomendación se transmite de forma transparente al servicio de barajado por la capa de servicio de la aplicación, y luego el barajado llama al módulo de recomendación comercial Recuperación, clasificación, mecanismo, etapas reveladoras y, finalmente, devolución de los resultados al cliente para su visualización.
3.1.2 Forma del producto
El video 1 al comienzo del artículo es nuestro formulario final en línea (insertar una sola tarjeta de comerciante debajo del clic del usuario en el comerciante), pero antes de eso, hicimos varias rondas de intentos en el formulario de tarjeta de recomendación interactiva y la lógica de interacción.
-
En términos de formularios de tarjeta, hemos explorado y lanzado sucesivamente varios formularios, como tarjetas de términos de búsqueda, tarjetas de agregación de múltiples comerciantes (como se muestra en el video 2) y tarjetas de un solo comerciante (como se muestra en el video 1), para probar el impacto. de diferentes tipos de tarjetas en las compras de los usuarios.
-
En términos de lógica de interacción, para evitar la "interferencia" de insertar animaciones en las compras de los usuarios, también se compararon las dos interacciones de "cubrir en la tarjeta en la que se hizo clic" e "insertar debajo de la tarjeta en la que se hizo clic" para probar el impacto en los usuarios. compras.
Video 2 Recomendación interactiva Estilo de visualización de tarjeta comercial dual
Al observar la diferencia en el efecto de las diferentes formas de productos, nos enfocamos en el impacto de la tarjeta interactiva insertada en la facturación de 1000 personas en el feed de la página de inicio. Los datos experimentales se muestran en la siguiente tabla:
Entre ellos, UV_CXR = número de usuarios comerciales/número de exposiciones.
Durante el proceso de exploración, también iteramos las siguientes tres cogniciones:
-
En primer lugar, en la lista de una sola columna, cuantas más tarjetas originales (mayor similitud con las tarjetas convencionales), menos interferencia para los usuarios y más fácil de aceptar por parte de los usuarios, lo que da como resultado comportamientos como clics y pedidos.
-
En segundo lugar, ya sea una recomendación de palabra de búsqueda o una recomendación de agregación de múltiples comerciantes, aunque parece que hay una oferta más expuesta, el enlace de la página de destino se agrega al enlace de conversión y la pérdida real será mayor (como se muestra en la Figura 2 a continuación). ); Al mismo tiempo, debido a que la recomendación interactiva debe garantizar un cierto grado de relevancia, la forma de la página de destino tiene requisitos más altos para la riqueza de la oferta, pero la oferta en la recomendación LBS (basada en la ubicación) es relativamente menor. , por lo que es más difícil.
-
Además, la "comparación multitienda" es un escenario muy común durante el proceso de compra del usuario, por lo que, aunque el comerciante click-through está cubierto para salvar un hueco, el impacto negativo que trae es mayor que su beneficio positivo.
3.2 Métodos de evaluación e indicadores de evaluación
El objetivo de la recomendación interactiva es mejorar la eficiencia de compra general del feed de la página de inicio, mejorando así la experiencia del usuario. El indicador central para evaluar sus ingresos se basa en la eficiencia de conversión general del feed de la página de inicio. Sin embargo, las recomendaciones interactivas tienen restricciones de políticas de activación (consulte la Sección 3.3 para obtener más información) y la proporción de tráfico es relativamente baja. La eficiencia general del feed de la página de inicio solo se puede aprovechar cuando se mejora considerablemente la eficiencia de compra de las tarjetas interactivas. Por lo tanto, solo observar la eficiencia general del feed de la página de inicio no puede guiar la iteración y el análisis del efecto de la estrategia diaria de recomendación interactiva.Se necesitan indicadores más directos y confiables para medir "cuál es un buen algoritmo de recomendación interactiva".
Evaluamos algoritmos de recomendación interactivos, considerando principalmente dos dimensiones:
-
Cobertura por inserción de tarjetas
-
Grado coincidente de la tarjeta insertada
Para hacer frente a la evaluación de las dos dimensiones anteriores, presentamos respectivamente la "proporción de páginas expuestas" y el "incremento de pedidos en la misma ubicación" para medir el impacto de las recomendaciones interactivas en la exposición de los feeds de la página de inicio.
Para evaluar la cobertura, los indicadores comunes son la exposición y el índice de exposición. Sin embargo, después de insertar la tarjeta de recomendación interactiva, cambiará la exposición del feed de la página de inicio y no es razonable calcular directamente la proporción de su exposición en el feed de la página de inicio. Por lo tanto, cambiamos la dimensión de la exposición estadística de "cantidad" a "página", y evaluamos la cobertura de las tarjetas calculando la proporción de páginas de exposición de tarjetas interactivas a las páginas de exposición de la página de inicio.
Observar la proporción de Páginas (en adelante, "la proporción de páginas expuestas") es conveniente para evaluar la diferencia entre la cobertura de recomendaciones interactivas y su límite superior teórico. La proporción es la misma que la del CTR de la Página (click-through rate). ) del feed de la página de inicio. Por lo tanto, combinado con el CTR de página del feed de la página de inicio, podemos observar la brecha entre la cobertura de recomendación interactiva y su límite superior teórico, lo cual es conveniente para que la optimización continua se acerque al límite superior. La relación de exposición de la página no es sensible a múltiples disparadores en la misma página. Por lo tanto, introdujimos la relación PV de exposición de la tarjeta interactiva (la relación entre la exposición de la tarjeta interactiva y la exposición del feed de la página de inicio), la exposición UV (el usuario que expuso la tarjeta La proporción de usuarios que están expuestos al feed de la página de inicio) para ayudar a observar el impacto en el feed de la página de inicio.
Para evaluar el grado de casación, el indicador común es la tasa de conversión de exposición a pedido. Creemos que los comerciantes insertados por recomendaciones interactivas deberían ser más relevantes para los intereses actuales de los usuarios que otros comerciantes en contexto. Por lo tanto, el indicador más intuitivo es comparar la tasa de conversión de las tarjetas interactivas y otras tarjetas en el feed de la página de inicio, sin embargo, al comparar estos dos tipos de tarjetas, habrá tres desviaciones:
-
Sesgo de la multitud : las personas expuestas a las recomendaciones interactivas son usuarios que han hecho clic, y la tasa de conversión de esta parte del grupo de usuarios es naturalmente más alta que la del "gran mercado".
-
Desviación de posición : la tarjeta de recomendación interactiva se activa con los clics del usuario. Dado que es más probable que se haga clic en los comerciantes clasificados en la parte delantera, la posición de exposición de la tarjeta interactiva es relativamente más alta.
-
Desviación del tipo de recurso : la lista de fuentes en la página de inicio involucra mucho tráfico heterogéneo, como temas y anuncios. La mayoría del tráfico heterogéneo no se clasifica según la tasa de conversión.
Las tres desviaciones anteriores hacen que la tasa de conversión de las tarjetas interactivas sea naturalmente más alta que la de otras tarjetas en el feed de la página de inicio. Por lo tanto, la simple comparación de la diferencia entre las tarjetas interactivas y las tarjetas normales en el feed de la página de inicio no puede evaluar correctamente el valor de la recomendación interactiva en sí. La característica del producto de la recomendación interactiva es exprimir las tarjetas que se expusieron originalmente en el feed de la página de inicio una por una, por lo que solo cuando la tasa de conversión de la tarjeta de recomendación interactiva es más alta que la de la tarjeta original Solo cuando la tarjeta junto a la La recomendación interactiva del usuario puede tener un efecto positivo.
En base a esto, usamos "comparar la diferencia relativa entre la tasa de conversión estimada del siguiente comerciante natural en la misma solicitud" (en adelante, la siguiente diferencia relativa) para medir el grado de coincidencia de la tarjeta recomendada. "Misma solicitud" resuelve el problema de la multitud El problema de la desviación, la "próxima persona" alivia el problema de la desviación de la ubicación y el "comerciante natural" resuelve el problema de la desviación del tipo de recurso.
Además, la expansión de la cobertura generalmente conduce a una disminución en la coincidencia. Para equilibrar estos dos indicadores, introducimos "la diferencia relativa del próximo dígito multiplicada por la exposición de la tarjeta interactiva" como un indicador de observación auxiliar para la iteración de la estrategia. Su significado físico es insertar interactivo Después de presionar la tarjeta original, el incremento del número esperado de órdenes generadas en esta posición (en lo sucesivo, "incremento de orden en la misma posición").
3.3 Comprender la intención del usuario
La recomendación interactiva se desencadena por la "interacción" del usuario percibida por el sistema de recomendación. Su proceso de comprensión de la intención del usuario incluye principalmente dos etapas: 1) qué comportamientos del usuario en el sistema de recomendaciones pueden desencadenar recomendaciones interactivas; 2) cuál es la intención inmediata del usuario cuando se activan las recomendaciones interactivas. A continuación se centrará en estas dos partes.
3.3.1 Primera estrategia de activación
Para explorar el impacto de diferentes tiempos de activación en indicadores como "diferencia relativa siguiente" y "proporción de página de exposición" de tarjetas interactivas, intentamos agregar carritos de compras, hacer clic en los platos y permanecer en el tiempo (10 s/5 s/2 s). /inmediatamente al entrar en la tienda) y otros horarios. Los experimentos han demostrado que relajar las condiciones de activación aumentará el riesgo de que se active la incredulidad de la recomendación interactiva, lo que resultará en una disminución de la eficiencia de las tarjetas interactivas, pero aumentará la exposición de las tarjetas interactivas, cubrirá a más usuarios y facilitará las iteraciones de estrategias posteriores. Al final, adoptamos la primera estrategia de activación de "tan pronto como el usuario ingrese a la tienda desde el feed de la página de inicio".
3.3.2 Estrategia de activación continua
Dado que no se puede determinar la duración de la estadía del usuario en la página de detalles del comerciante, y en ingeniería es imposible solicitar el servicio de recomendación y mostrar los resultados en el momento en que el usuario regresa a la lista, el sistema necesita solicitar recomendaciones del servidor varias veces durante la navegación del usuario por la página de detalles del comerciante Como resultado, cuanto más tiempo permanezca el usuario en la página de detalles del negocio y más claras sean sus necesidades, más precisos serán los resultados de recomendación del servidor. Por lo tanto, adoptamos la "estrategia de activación continua", es decir, a medida que aumenta la estadía del usuario en la tienda, o después de que el usuario genera nuevos clics en platos o características de compra adicionales, el cliente iniciará múltiples solicitudes consecutivas al servicio de back-end para actualizar los resultados de la recomendación.
3.3.3 Comprensión de las necesidades de los usuarios en tiempo real
Cómo comprender mejor la intención del usuario a través de la inteligencia de extremo a extremo [3-4] es el centro de nuestra atención. En comparación con el servidor, las características de los usuarios en el extremo tienen principalmente las siguientes dos características:
-
Mejor rendimiento en tiempo real : desde la interacción "casi en tiempo real" hasta la interacción en "supertiempo real".
-
Dimensión más fina : Evolucionó de "elemento de interacción" a "micro-granularidad de la interacción del elemento".
Por lo tanto, con la ayuda de las capacidades de inteligencia de terminales, ya no estamos limitados por el mecanismo de actualización de solicitudes de paginación del feed de la página de inicio. Podemos comprender mejor las necesidades de los usuarios en función de su comportamiento, tomar decisiones inteligentes en tiempo real para actualizar los resultados de las recomendaciones y aliviar el problema de los retrasos en la percepción de la señal de retroalimentación.
El comportamiento principal del usuario en la tienda después de hacer clic en la tarjeta de comerciante puede ayudarnos a comprender mejor las necesidades del usuario en tiempo real. La Figura 4(a) muestra algunos comportamientos en la tienda, y la Figura 4(b) analiza algunos de los diferentes comportamientos en comparación con ver el comportamiento de presentación del comerciante. , y hay una diferencia en los pedidos para llevar en ese día natural), lo que indica que hay Son evidentes las diferencias en las necesidades de los usuarios bajo diferentes comportamientos.
Figura 4(a) Principales comportamientos de los usuarios en la tienda
Figura 4(b) Diferencias en la tasa de pedidos día a día diferencia entre los principales comportamientos de los usuarios en la tienda y "ver comentarios"
3.4 Estrategia de clasificación recomendada
El feed de la página de inicio muestra la lista completa a la vez, mientras que las recomendaciones interactivas solo muestran 1 tarjeta de presentación a la vez. Para recomendar resultados más precisos, se necesitan recomendaciones interactivas para comprender mejor las necesidades de entrega de alimentos en tiempo real de los usuarios. Por lo tanto, sobre la base del enlace recomendado en el feed de la página de inicio, optimizamos el enlace "recuperar->ordenar->mecanismo->mostrar" para cubrir a más usuarios mientras mejoramos continuamente el grado de coincidencia de las recomendaciones interactivas y los intereses de los usuarios.
3.4.1 Recuperación
La fase de recuperación se divide en dos pasos (como se muestra en la Figura 5 a continuación):
-
Uso de múltiples estrategias de algoritmos de recuperación para recuperar cientos de comerciantes de puntos de interés candidatos de la vecindad del usuario.
-
Utilice el esquema de filtrado de categorías similares para filtrar comerciantes que son obviamente diferentes de la intención actual del usuario y pase los resultados de candidatos generados a la etapa de clasificación. Con el fin de comprender mejor la intención inmediata del usuario, proponemos el retiro de múltiples disparadores de Item2Item y un esquema de filtrado de categoría similar.
Figura 5 Diagrama de flujo de la fase de retiro
En primer lugar, por un lado, reutilizamos directamente el enlace de recuperación recomendado por el feed de la página de inicio e integramos varios algoritmos de recuperación, como la recuperación de Twin Towers [5], la recuperación de User2Item [6] y la recuperación de ventas en caliente. Por otro lado, con el fin de fortalecer la comprensión y la atención a la intención inmediata del usuario, agregamos un nuevo retiro de bypass multidisparador item2item.
El método específico es: usamos el PDI en el que el usuario hace clic y compra en el feed de la página de inicio como desencadenante del retiro de Item2Item, y recordamos más comerciantes que cumplen con la intención inmediata del usuario. El número de disparadores para cada usuario es diferente, y el número de comerciantes llamados por cada disparador también es diferente, y el número satisface N/M (N es el número total de PDI recuperados por I2I Multi-Trigger, y M es el número de disparadores).
En segundo lugar, los comerciantes en los que el usuario ha hecho clic recientemente pueden ayudarnos a comprender mejor las intenciones inmediatas del usuario. Teniendo en cuenta la mayoría de los usuarios "contrastantes" en la escena de comida para llevar, para brindarles a los usuarios una mejor experiencia, proponemos la estrategia de "la misma categoría de hoja": los comerciantes de tarjetas interactivas que restringen la exposición deben ser los mismos que la categoría de hoja que activa al comerciante. (Refleja el gusto del comerciante, que se relaciona con los platos principales, como las brochetas, los rollitos de pollo). Pero esta solución traerá 2 problemas:
-
Bajo las restricciones de LBS, hay menos comerciantes de la misma categoría de hoja, lo que resulta en una menor exposición de las tarjetas interactivas.
-
En el escenario de comida para llevar, la definición de categoría de comerciantes tiene diferentes granularidades (cada comerciante incluye varios niveles de categorías, desde grueso hasta fino). La recomendación interactiva requiere un método de definición de categoría unificado. Es necesario asegurarse de que la categoría de comerciante recomendada y el interés del usuario sean La correlación requiere un cierto grado de diversidad en los resultados de las recomendaciones.
Por lo tanto, nos referimos a la definición de categorías de comerciantes existentes, consideramos las dimensiones del gusto del comerciante, la similitud del consumidor y la distribución de las categorías de productos incluidos en el comerciante, y redefinimos categorías similares para recomendaciones interactivas a través de la agrupación. Específicamente, definimos unas 200 categorías de granularidad fina como unas 70 categorías de granularidad gruesa, que no solo satisfacen las necesidades de los usuarios "comparativos", sino que también aportan novedad y diversidad a más usuarios.
La estrategia que propusimos, mientras aumenta significativamente la relación de página de la página de exposición de la tarjeta interactiva, en comparación con la siguiente, la diferencia mejora significativamente. El efecto específico se puede ver en la siguiente tabla:
3.4.2 Clasificación
En la etapa de clasificación, la tarea principal del modelo es predecir CTR y CXR (tasa de conversión de exposición) y pasar los resultados estimados a la etapa de mecanismo.
Para optimizar el modelo de clasificación para la recomendación interactiva, enfrentamos principalmente los problemas de las diferencias de distribución de muestras y pocas muestras de capacitación. Existe una diferencia natural entre la forma de recomendación interactiva de la tarjeta de un solo comerciante y la forma de lista del feed de la página de inicio, lo que conduce a inconsistencias obvias en la distribución de la muestra (como la tasa de clics, la tasa de conversión y la distribución de multitudes). El modelo de recomendación que utiliza directamente el feed de la página de inicio carece de soporte para la recomendación interactiva. El efecto de la atención personalizada de la escena se verá significativamente atenuado. La forma simple es usar directamente las muestras de recomendación interactiva para entrenar el modelo, pero la cantidad de muestras de recomendación interactiva de una sola escena es pequeña, lo que conducirá a una robustez insuficiente del modelo.
Por lo tanto, elegimos el método de ajuste fino comúnmente utilizado en la industria. Basándonos en el modelo de clasificación de feeds de la página de inicio, usamos el modelo de clasificación de ajuste fino de muestra recomendado de forma interactiva. Al mismo tiempo, hacemos pleno uso del módulo de comprensión de la demanda en tiempo real del usuario integrado en la Sección 3.3.3 para optimizar el efecto del modelo. Por supuesto, también hemos explorado cómo las diferentes estructuras de red pueden mejorar el efecto del modelo, pero debido a limitaciones como los recursos de potencia informática, no hemos lanzado un modelo interactivo de clasificación de recomendaciones más complejo. La estructura del modelo específico se muestra en la Figura 6 a continuación.
Los datos de incrustación del modelo de entrada pasan a través de la capa MMoE[7] y la red MLP de 3 capas para obtener los resultados previstos de pCTR y pCXR. Entre ellas, las funciones de entrada del modelo se dividen en cinco tipos: 1) funciones de usuario, 2) funciones comerciales, 3) funciones contextuales, 4) funciones de secuencia, 5) funciones comerciales que desencadenan recomendaciones interactivas. Funciones de secuencia, incluida la exposición en tiempo real, clic y otras secuencias, y use detalles de Micro-Behavior[8].
Las características de los comerciantes que desencadenan recomendaciones interactivas incluyen representaciones integradas de comerciantes, información de entrega, información de descuentos, etc. Los efectos fuera de línea/en línea del modelo de clasificación se muestran en la siguiente tabla. Se puede ver que, en comparación con el modelo de clasificación de feeds de la página de inicio, la clasificación de recomendaciones interactiva optimizada es significativamente mejor que el efecto de usar directamente el modelo de clasificación de feeds de la página de inicio en términos de eficiencia de la tarjeta.
3.4.3 Mecanismo
Para cumplir con los objetivos comerciales de manera más flexible, hemos introducido un módulo de mecanismo, el objetivo es ajustar el orden de los comerciantes candidatos aprobados en la etapa de clasificación de acuerdo con diferentes objetivos comerciales (como CTR, CXR, novedad, etc.). Finalmente, con el objetivo de la novedad en mente, las recomendaciones interactivas se ordenan por CXR estimado para maximizar la tasa de conversión de tarjetas y listas. Al mismo tiempo, también optimizamos la experiencia desde dos aspectos: solucionar el feedback negativo y optimizar la experiencia:
-
Resuelva los comentarios negativos a través de las restricciones de las reglas comerciales, que incluyen principalmente: filtrado de comerciantes de exposición repetida, filtrado de comerciantes de pedidos anticipados, filtrado de comerciantes de la misma marca, filtrado de comerciantes de lista negra y rechazo de usuarios, y evite insertar tarifas de entrega altas y comerciantes de distancias de entrega.
-
En términos de experiencia interactiva: 1) Proporcionar a los usuarios una experiencia de recomendación más rica al explorar la novedad y otros objetivos; 2) Explicar los motivos de los usuarios a través de la optimización de los motivos de recomendación.
3.4.4 Fugas
En la etapa de revelación, se trata principalmente de juzgar si se muestran al usuario los principales comerciantes 1 transmitidos en la etapa del mecanismo. Teóricamente, cada vez que un usuario "activa" una recomendación interactiva, el sistema puede recomendar un nuevo comerciante para su visualización. Sin embargo, la estrategia de recomendación que no tenga en cuenta la calidad de los comerciantes dañará en gran medida la experiencia del usuario y el efecto del feed de la página de inicio. Por lo tanto, exploramos la estrategia reveladora de la tarjeta, es decir, si se muestra la tarjeta Top 1 transmitida de forma transparente en la etapa del mecanismo.
Como se muestra en la Figura 7 a continuación, el área de visualización del comerciante se divide en cuatro áreas: ABCD: posición de inserción de tarjeta interactiva recomendada (A), comerciante activador (B), comerciante activador arriba (C) y comerciante activador abajo (D). Después de insertar la tarjeta interactiva, el primer comerciante en el área D se deslizará hacia abajo y el efecto de animación atraerá la atención del usuario hacia la tarjeta interactiva A. Sin embargo, el hecho de que el usuario realice un pedido en el comerciante A recomendado interactivamente no solo está relacionado con si cumple con las preferencias del usuario, sino que también es inseparable del efecto de comparación con los comerciantes contextuales C, B y D; al menos, A debería ser mejor. que C, B y Comerciantes en el área D están más en línea con la intención actual del usuario.
Prestamos más atención a la tasa de conversión del feed de la página de inicio. Por lo tanto, cuando el pCXR de un comerciante recomendado de forma interactiva es más alto que el de otros comerciantes en el mismo contexto, este comerciante debe estar expuesto. El formato es:
Recomendar comerciantes de forma interactiva al siguiente comerciante
Entonces, hay algunas preguntas: ¿Qué comerciantes se comparan en las áreas B, C y D? ¿Cuánto más alto debe compararse el pCXR del comerciante A recomendado interactivamente con el comerciante de comparación (controlado por el coeficiente proporcional α en la fórmula 1) antes de que se muestre? Para lo último, lo obtuvimos a través de experimentos; para lo primero, lo analizamos de la siguiente manera:
-
Zona C: El usuario ya ha navegado, y la posibilidad de hacer clic/ordenar es menor. Obviamente, no tiene mucho sentido comparar negocios en esta área.
-
Área B: los comerciantes del "último clic" del usuario && "recomendación interactiva activada", el usuario está muy interesado en este comerciante. La comparación con él parece tener un significado claro, pero el comerciante puede quedar expuesto, lo que significa que es un líder entre comerciantes similares/similares. Es difícil encontrar un comerciante con mejor pCXR sin cambiar el modelo/características de clasificación.
-
Zona D: El usuario no ha navegado por ella, una vez que se muestra la tarjeta comercial interactiva A, el efecto dinámico de la inserción de la tarjeta hará que el usuario preste más atención a esta zona. Por lo tanto, es más intuitivo comparar con estos comerciantes.
Debido a la limitación de las condiciones reveladoras de la tarjeta, la exposición de la tarjeta interactiva se reduce significativamente. Los experimentos han demostrado que cuando el pCXR de la tarjeta de recomendación interactiva es más alto que el de la tarjeta del siguiente comerciante, el aumento de pedidos en la misma ubicación es el más alto, la pérdida de la relación de página de la página de exposición es la menor y la estrategia es óptimo Adoptamos este esquema. Se puede ver a partir de los datos experimentales que al comparar el valor promedio de pCXR de N bits, a medida que cambia el valor de N, la exposición y la eficiencia de la tarjeta interactiva se verán afectadas, y el efecto es equivalente a ajustar directamente el umbral de filtrado. α de pCXR. En el entorno de producción real, es suficiente seleccionar el parámetro α cuando el "incremento de orden de la misma posición recomendado interactivamente" es alto, y aquí tomamos 1.
4. Resumen y perspectiva
Este artículo presenta nuestros intentos de explorar recomendaciones interactivas en el feed de la página de inicio, que incluye principalmente:
-
Basándose en la capacidad de la inteligencia de la terminal, combinada con las características de compra de "comparación de varias tiendas" del usuario en la escena de comida para llevar, se construyó un sistema de recomendación interactivo de "comerciantes de inserción de tarjeta única dinámicamente".
-
Teniendo plenamente en cuenta el impacto de insertar tarjetas en el contexto del feed de la página de inicio, se proponen indicadores como "incremento de pedidos en la misma ubicación", y se construye un método de evaluación de "cuál es un buen sistema de recomendación interactivo" a partir de dos aspectos de igualación de grado y cobertura.
-
A partir de la comprensión del negocio, el modelado de la demanda del usuario, etc., mediante la optimización del enlace "disparador->recuperación->clasificación->mecanismo->divulgación", se mejora la precisión de la comprensión del sistema de las intenciones del usuario y se optimiza la experiencia del usuario.
En la actualidad, la recomendación interactiva se ha cargado por completo en el feed de la página de inicio y también hemos obtenido los siguientes beneficios comerciales:
-
La rotación de 1.000 personas en el feed de la página de inicio +0,43%, y la novedad de exposición en el feed de la página de inicio +1,16%.
-
Las tarjetas interactivas tienen una tasa de conversión de +132% al próximo comerciante orgánico.
En el futuro, exploraremos y optimizaremos desde las siguientes direcciones:
-
Optimice el formulario del producto : continúe optimizando la función del producto de recomendación interactiva desde múltiples perspectivas, como razones de recomendación personalizadas y tiempo de activación, y amplíe la capacidad de recomendación dinámica a otros escenarios de comida para llevar.
-
Llevar más objetivos comerciales : bajo la premisa de satisfacer la recomendación precisa de los usuarios, integra múltiples objetivos comerciales diferenciados, como la novedad y la diversidad, y realiza la optimización del modelado.
-
Amplíe las ventajas inteligentes del final : el sistema de recomendación interactivo existente pone el procesamiento de características, recuperación, clasificación, mecanismo y otros procesos en el servidor para completar, pero el rendimiento del servidor <-> nube limita el procesamiento y la utilización de más información, que se puede usar en el futuro Póngalo en el terminal para completar el entrenamiento y la estimación, y proteja de manera efectiva la privacidad de los usuarios mientras realiza la experiencia personalizada definitiva de "miles de personas y miles de modelos". Al mismo tiempo, podemos utilizar las ventajas de la inteligencia del terminal para explorar soluciones para reordenar en el terminal.
5. Autor de este artículo
| Ji Chen, Yacheng, Wang Wei, Jackie Chan, Jiang Fei, Wang Cong, Bei Hai, etc., de Daojia Business Group/Plataforma de I+D de Daojia/Departamento de tecnología de búsqueda y recomendación.
| Shu Yang, Zhang Jing, etc., del Grupo empresarial Daojia/Departamento comercial de comida para llevar/Departamento de productos.
6. Referencias
-
[1] Christakopoulou K, Beutel A, Li R, et al. Preguntas y respuestas: un enfoque de dos etapas hacia la recomendación interactiva [C] // Actas de la 24.ª Conferencia internacional ACM SIGKDD sobre descubrimiento de conocimientos y minería de datos. 2018: 139-148.
-
[2] Xinran He, Junfeng Pan, et al. Lecciones prácticas de la predicción de clics en anuncios en Facebook. En Actas del Octavo Taller Internacional sobre Minería de Datos para Publicidad Online. ACM, 1–9, 2014.
-
[3] Gong Y, Jiang Z, Feng Y, et al. EdgeRec: sistema de recomendación en el perímetro en Mobile Taobao[C]//Actas de la 29.ª Conferencia internacional de la ACM sobre gestión de la información y el conocimiento. 2020: 2477-2484.
-
[4] La práctica de aplicación de inteligencia terminal en el reordenamiento de búsqueda de Dianping .
-
[5] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero y Larry Heck. 2013. Aprendizaje de modelos semánticos estructurados profundos para la búsqueda web mediante datos de clics (CIKM '13). Association for Computing Machinery, Nueva York, NY, EE. UU., 2333–2338.
-
[6] Yue Shi, Martha Larson y Alan Hanjalic. 2014. Filtrado colaborativo más allá de la matriz de elementos de usuario: una encuesta sobre el estado del arte y los desafíos futuros. Cómputo ACM. sobrev. 47, 1, artículo 3 (mayo de 2014), 45 páginas.
-
[7] Jiaqi Ma, Zhe Zhao, Xinyang Yi, Jilin Chen, Lichan Hong y Ed H Chi. 2018. Modelado de relaciones de tareas en el aprendizaje de tareas múltiples con una mezcla de expertos en varias puertas. En Actas de la 24.ª conferencia internacional ACM SIGKDD sobre descubrimiento de conocimiento y minería de datos. 1930-1939.
-
[9] Zhou G, Zhu X, Song C, et al. Red de gran interés para la predicción de la tasa de clics[C]//Actas de la 24.ª conferencia internacional ACM SIGKDD sobre descubrimiento de conocimientos y extracción de datos. 2018: 1059-1068.
---------- FIN ----------
Ofertas de trabajo
Ingeniero de algoritmos de recomendación de búsqueda
-
Desarrolle aprendizaje profundo a gran escala, aprendizaje gráfico y otras tecnologías, use módulos como el mecanismo de atención, la red de memoria y la red de relaciones para comprender las necesidades de los usuarios y descubrir los intereses de los usuarios a partir de datos masivos en múltiples escenarios de tiempo y espacio, y optimice la tasa de clics. y modelos de tasa de conversión Muestre a los usuarios manjares y productos más adecuados e interesantes.
-
Desarrolle aprendizaje de refuerzo, aprendizaje profundo explicable, aprendizaje multimodal, optimización multiobjetivo y otras tecnologías, optimice los modelos de reorganización y mezcla, controle de manera inteligente la distribución del tráfico, optimice la ecología de la plataforma y logre una situación beneficiosa para los consumidores y las empresas.
-
Mediante el uso de tecnologías como gráficos de conocimiento, visión computacional y generación de lenguaje natural, ayuda a los comerciantes a generar de forma automática e inteligente contenido para mostrar y redacción basada en los intereses del usuario, lo que mejora la eficiencia de la promoción.
-
Realice un seguimiento y estudie la tecnología de vanguardia de la inteligencia artificial, y explore la aplicación de la tecnología en escenarios de comercio electrónico minorista y médico.
Los estudiantes interesados pueden enviar sus currículos a: [email protected]. Mirando hacia adelante a trabajar con usted para crear un futuro mejor.
Lectura recomendada
| La práctica y exploración de la recomendación de Meituan Waimai Distribución inteligente del tráfico
| Modelo de calidad y práctica del sistema integral de recomendaciones comerciales de Meituan