[Práctica] Algoritmo de recomendación Exploración y práctica de PaaS

Autor: JD Retail Cui Ning

1. Antecedentes

En la actualidad, el departamento de algoritmos de recomendación admite más de 900 escenarios de recomendación de más de 20 líneas comerciales, como el sitio web principal, el negocio empresarial y omnicanal.Al clasificar los requisitos comunes de la gran operación de promoción y los escenarios de recomendación de cada negocio vertical. línea, las capacidades de algoritmo de recomendación existentes se precipitan y acumulan, y crean una capacidad de recomendación general a través del algoritmo PaaS, mejoran la eficiencia del empoderamiento de recomendación en varios escenarios comerciales y potencian de manera eficiente las necesidades comerciales.

Por qué es PaaS: En primer lugar, creemos que PaaS es una mejor solución y plan, porque proporciona un marco básico para resolver el complejo negocio de las súper empresas que se puede cambiar, expandir y reutilizar . , el trabajo repetitivo se puede liberar en gran medida para lograr una mejora comercial eficiente; en segundo lugar, también hemos visto otros jugadores en algunas industrias, que también implementan PaaS sobre la base de sus propias plataformas comerciales y brindan servicios a través de PaaS La capacidad de incubar continuamente su propia proyectos innovadores para reducir su entrada de mano de obra y reducir sus costos de entrada, y también han lanzado muchas herramientas PaaS para uso comercial para crear oportunidades de mayor valor social; por lo tanto, se cree que PaaS debería ser una mejor solución al problema que tenemos. elegirá en la actualidad;
Cómo ayudar a mejorar las capacidades comerciales de recomendación : al clasificar los requisitos comunes en los escenarios de recomendación, dentro del marco básico de capacidades modificables, escalables y reutilizables, clasificamos los requisitos comerciales y las capacidades abstractas, y brindamos estrategias de afrontamiento paso a paso ; necesidades, proporcionamos capacidades de recomendación personalizadas integrales para satisfacer las necesidades de acceso rápido al negocio; para necesidades personalizadas, mediante la creación de herramientas PaaS eficientes y fáciles de usar , por un lado, reduzca la inversión en mano de obra de algoritmos, por el otro Por otro lado, acortar el ciclo de entrega de los requisitos comerciales;

2. Diseño del esquema

En el proceso de clasificación de los requisitos comerciales recomendados, hemos resumido las demandas del lado comercial en las siguientes dos categorías:

Se agregaron requisitos comerciales recomendados

De acuerdo con los escenarios de recomendación, se puede dividir aproximadamente en el acceso a los escenarios recomendados, como la primera recomendación, mi Beijing, detalles de la tienda, carrito de compras, video corto, transmisión en vivo y canales;
De acuerdo con la clasificación de las capacidades de recomendación personalizada, se puede dividir aproximadamente en acceso a datos, recuperación, clasificación, filtrado/ajuste de peso, diversidad, representación y otros módulos de algoritmos de recomendación, así como experimentos AB y capacidades de análisis de datos;
De acuerdo con la división de las demandas operativas, se puede dividir aproximadamente en capacidades de apoyo, como promoción de derechos, inversión fija, inversión no programada y tajo fijo;

recomendación existente estrategia de recomendación de posición optimización iterativa requisitos comerciales

Requisitos comerciales de mejora del efecto: se pueden dividir aproximadamente en nuevos grupos de productos, recordar nuevas fuentes de datos, etiquetas comerciales/modelos de acceso a factores de características, categorías de soporte, análisis de datos, etc.;
Requisitos comerciales de la experiencia del usuario: se pueden dividir aproximadamente en ajuste/filtrado de peso, retroalimentación negativa, clasificación de diversidad, novedad, intercalado de múltiples materiales, etc.;
Requisitos operativos: se pueden dividir aproximadamente en capacidades operativas, como soporte de flujo de productos especiales, mecanismo de carreras de caballos, promoción correcta, inversión fija y foso fijo;

Para respaldar de manera más eficiente las necesidades comerciales anteriores, el algoritmo PaaS recomendado se basa en las seis direcciones PaaS de datos/componentes de algoritmo/análisis de datos/operadores/plantillas de escenarios/servicios, con el objetivo de acortar el ciclo de entrega de la demanda y mejorar de manera efectiva percepción de uso.

2.1 Clasificación de las capacidades de PaaS del algoritmo de recomendación

Como proveedor de capacidades de recomendación personalizadas, esperamos mostrar de forma transparente el sistema de recomendación a todos a través de tecnología empresarial y algoritmos de recomendación basados en PaaS. Con base en una nueva comprensión del sistema de recomendación, deduciremos mejor el futuro; lo recomendaremos El algoritmo PaaS se divide en datos/componentes de algoritmo/análisis de datos/operadores/plantillas de escena/servicios, un total de 6 capacidades de primer nivel y 20 capacidades de segundo nivel, de la siguiente manera

habilidad de nivel uno	Definición de competencia de nivel 1	habilidad secundaria	Definición de competencias de segundo nivel
multiplexación de datos	Recomendar reutilización de datos en cada enlace	Reutilización directa de datos de recuperación
		Procesamiento simple y reutilización de datos recuperados
		Clasificación de la reutilización de archivos de modelo
Reutilización de código (componentes del algoritmo)		recuerdo de no modelo	Recuperación de arranque en frío, recuperación de retrato, recuperación relacionada con la similitud, etc. (La diferencia entre cada tipo de fuente de recuperación son los diferentes scripts de cálculo llamados)
		Retirada de KNN
		modelo refinado
Reutilización de análisis de datos		mesa intermedia basica
Reutilización de análisis de datos		mesa intermedia proyecto
Multiplexación de operadores	Incluyendo la multiplexación de funciones relacionadas con el operador y la multiplexación de datos asociados	operador de filtro
		Operador de ajuste
		operador superior
		operador de deduplicación
		operador de representación
		operador de diversidad
Reutilización de plantilla de escena	Recomendación integral de productos en toda la estación, transmisión en vivo del carrito de compras ... Espectáculo de plantación de césped	Recomendar la función de transmisión de feeds de la página de inicio del paquete para usted, en función de las preferencias de comportamiento del usuario y recomendaciones integrales relacionadas con productos similares	Compatibilidad con varios materiales (tiendas, clasificaciones, gráficos, materiales de agregación), configuración de compatibilidad con el retiro de knn, compatibilidad con los objetivos del modelo de ajuste comercial, características del modelo de autoconfiguración comercial
		Detalles del paquete de recomendación de producto principal, carrito de compras, para escenarios con productos participantes	Admite retiros relacionados similares de productos participantes, recomendación de envío gratuito (filtro de precio y peso), recomendación de productos de la misma tienda, filtrado autooperado no autooperado, soporte para recomendaciones emergentes de compra adicionales para categorías comerciales específicas y ajuste comercial objetivos del modelo, características del modelo de autoconfiguración del servicio, recomendación LBS
		Actividades de marketing de recomendación de grupo de productos (Día de Año Nuevo, etc.), clasificación de pestañas, recomendación de productos de clasificación de pestañas, recomendación de tienda + suk, recomendación de tipo O2O	Admite clasificación de pestañas, clasificación basada en parámetros de entrada de pestañas, recomendación de marca, gran demanda de promoción para nuevos escenarios, ventas flash y otras funciones de recomendación: recuperación basada en el tiempo, función de filtro, creación y recuperación de potes especiales (kv)
reutilización de servicios		Servicio de material único, producto único, tienda única, video corto, mercado de cosas buenas... LBS
		servicio de filtrado	ya tengo
		Servicio de razonamiento refinado	ya tengo

La clasificación anterior se basa en nuestra comprensión actual de las necesidades comerciales.Con el avance continuo del algoritmo de recomendación PaaS, la definición y la clasificación continuarán migrando;

2.2 Creación de capacidad PaaS del algoritmo de recomendación

2.2.1 Componentes de algoritmos de recomendación

La creación de componentes del algoritmo de recomendación es un paso previo para la creación de plataformas y la configuración. A través de la creación de componentes, podemos visualizar las capacidades algorítmicas, permitir que parte de la información depositada en el código se muestre al público y hacer que las capacidades algorítmicas sean un activo verdaderamente heredable. , para potenciar de manera eficiente las necesidades comerciales, específicamente, abstraemos y encapsulamos las capacidades del algoritmo y las integramos en un paquete de código ejecutable.Los usuarios pueden usar aplicaciones "conectables" a través de la introducción de componentes de algoritmos e instrucciones de uso en su campo de negocios;

La construcción de la creación de componentes del algoritmo incluye principalmente dos partes. Una es que el generador de capacidad PaaS del algoritmo de recomendación integra las capacidades del algoritmo de recomendación, y la otra es la capacidad PaaS del algoritmo de recomendación. Puede captar el ritmo de entrega de la demanda;

Diagrama esquemático de la división en componentes del algoritmo de recomendación.

2.2.2 Platformización de capacidades generales de algoritmos

El objetivo principal de la plataforma es simplificar la complejidad del uso de componentes de algoritmos de recomendación. Por lo tanto, nuestros requisitos para las herramientas de la plataforma son utilizables, visibles y modificables. Vale la pena señalar que la plataforma se puede dividir en dos categorías principales: la primera es la plataforma del enlace completo de capacidades de recomendación, cuyo propósito es respaldar rápidamente las necesidades comerciales, como nuevas posiciones de recomendación; el segundo es la plataforma de módulos de algoritmos de recomendación. A través de dichas herramientas de plataforma, esperamos respaldar rápidamente la estrategia iterativa de recomendación de posición recomendada existente requisitos de negocio de clase de optimización;

Para la plataforma del enlace completo de capacidades de recomendación, cooperamos con productos, arquitecturas y plataformas para satisfacer las demandas de acceso rápido a los servicios mediante la creación de plantillas de escenarios de recomendación enriquecidas y proporcionando capacidades generales de distribución personalizadas; específicamente, para las partes comerciales que tienen diferentes demandas. para diferentes escenarios de recomendación. El equipo de proyecto basado en PaaS ha creado recomendaciones integrales para productos en todo el sitio, recomendaciones relacionadas similares al sku principal, recomendaciones comerciales flexibles, recomendaciones omnicanal de tienda + producto y recomendaciones de productos auxiliares, etc. tipos de plantillas de propósito general. En estas plantillas, el algoritmo de recomendación PaaS se basa en una lógica básica cambiable y reutilizable. Al proporcionar estrategias de recomendación enriquecidas para que las partes comerciales elijan y usen, cubre más requisitos para nuevas posiciones de recomendación;

Diagrama esquemático de la lista de plantillas de escenas

Para la plataforma del módulo de algoritmo de recomendación, planeamos cooperar con el lado de la plataforma para mejorar la eficiencia del trabajo de los estudiantes de algoritmos y acortar el ciclo de entrega de la demanda mediante la creación de un lote de herramientas de mejora de la eficiencia;

2.2.3 Configuración de la estrategia del algoritmo general

Con el fin de mejorar la eficiencia del personal de algoritmos para respaldar las necesidades comerciales, según el sistema de recomendaciones actual, coopere con el marco de recomendaciones para completar la construcción de una biblioteca general de operadores, incluidos los operadores de uso común como buscar, recuperar, clasificar, filtrar, y diversidad; en el futuro, este Un lote de operadores de uso general puede ingresar directamente al experimento de tráfico pequeño para verificar el efecto, reducir el costo de configuración del operador, mejorar la reutilización del código y lograr el objetivo de acortar el ciclo de entrega de la demanda;

Comparación de procesos antes y después de implementar la configuración de la estrategia general del algoritmo

2.2.4 Desarrollo low-code de una estrategia de algoritmo personalizada

En el proceso de respaldar las necesidades comerciales, descubrimos que el desarrollo de un pequeño operador también consume mucho tiempo para el personal de algoritmos, lo que incluye, entre otros: comunicación de desarrollo temprano, desarrollo de estrategias, implementación del entorno, verificación de estrategias y lanzamiento del operador. etc., esperamos agilizar el proceso de desarrollo para lograr el objetivo de mejorar la eficiencia. En base a esto, hemos llegado a un consenso con la arquitectura y la plataforma recomendadas para crear herramientas de desarrollo de código bajo para profesionales como algoritmos, de modo que los requisitos personalizados puede pasar rápidamente el enlace de código bajo Desarrollo y lanzamiento rápidos;

Para conocer la idea general, consulte el sistema easy studio de big data

2.2.5 Construcción de la herramienta PaaS del algoritmo de recomendación

Aquí consideramos principalmente los requisitos de personalización, como la recuperación de nuevas fuentes de datos, el filtrado de productos confidenciales, las herramientas de solución de problemas de casos, etc.. Para los requisitos de personalización, esperamos proporcionar algunas herramientas PaaS eficientes y fáciles de usar. se libera el trabajo repetitivo del algoritmo, por otro lado, acortar el ciclo de entrega de los requisitos comerciales;

3. Implementación

3.1 Caso 1 Plantilla de escenario recomendación personalizada desarrollo de capacidades

3.1.1 Desarrollo de plantillas de escenarios

Las plantillas de escenarios, como una herramienta para satisfacer las necesidades de los nuevos puestos de recomendación, están directamente abiertas a las partes comerciales. Para diferentes escenarios de recomendación, hemos creado una gran cantidad de plantillas para que las partes comerciales elijan, que incluyen: recomendación integral de productos, detalles comerciales, Shopping Cars, transmisiones en vivo, videos cortos, etc., en cada plantilla, hemos configurado una estrategia básica de distribución de recomendaciones, y el lado comercial puede elegir qué estrategia de recomendación usar de acuerdo con sus propias necesidades; lo siguiente usa la recomendación de la pestaña de agregación de productos como ejemplo para introducir plantilla recomendación personalizada Implementación de capacidades;

En primer lugar, en la etapa inicial de construcción de plantillas, confirmaremos la magnitud de necesidades similares con el producto como base para evaluar si se debe construir una plantilla; uno, y los requisitos de este tipo de demanda de capacidades de algoritmo son básicamente similares Por lo tanto, creemos que la recomendación de pestañas de agregación de productos es un tipo de demanda general y relativamente frecuente, y es necesario construir una plantilla para abordar de manera eficiente este tipo de demanda;

En segundo lugar, como personal de algoritmos, debemos clasificar las capacidades de algoritmos para este tipo de demanda. Con base en los requisitos para las capacidades de recomendación de más de una docena de necesidades similares en el pasado, podemos clasificar aproximadamente una versión de soluciones de algoritmos con Funciones y alta cobertura Tome la recomendación de la pestaña de agregación como ejemplo Al acceder a los datos, en la mayoría de las demandas, los datos proporcionados por la parte comercial son un grupo que incluye un grupo de productos básicos (did), categoría/marca virtual (vcateid) y categoría real/ marca (cate_id) Al recuperar datos, la recuperación de categorías/marcas virtuales y categorías/marcas reales a menudo se completa a través de la recuperación bidireccional de arranque en frío y retrato, y luego la puntuación de la etapa de clasificación se completa a través de un modelo de clasificación lineal, complementado con filtrado, ajuste de ponderación y La estrategia de diversidad completa el establecimiento de toda la capacidad de distribución de recomendaciones. No es difícil descubrir a partir de la descripción anterior que si la mayoría de los requisitos avanzan de acuerdo con el proceso anterior, entonces podemos diseñar un solución completa de algoritmos para abordar de manera eficiente requisitos similares;

Luego, sobre la base de la finalización de la revisión del esquema del algoritmo, el lado de la arquitectura completa el desarrollo de la función y el lado de la plataforma completa el desarrollo de la página de inicio;

Finalmente, cuando hay necesidades comerciales similares, abrimos la capacidad de la plantilla al lado comercial, y el lado comercial puede completar la demanda a través de la página de estilo de clic, y el progreso de este proceso es controlado por el lado comercial mismo;

Diagrama de flujo de desarrollo de plantillas de escena

3.1.2 Fomento de la capacidad de la biblioteca de índices/vocabulario de recuperación automática

En el proceso de abordar las necesidades comerciales, en la mayoría de los casos, cada parte comercial tiene su propio conjunto de productos básicos. Frente a diferentes conjuntos de productos básicos, necesitamos ajustar dinámicamente el vocabulario o índice de recuperación de acuerdo con los cambios en el conjunto de productos básicos. biblioteca, si queremos queremos automatizar completamente las capacidades de distribución personalizada, necesitamos crear un nuevo conjunto de herramientas de construcción de biblioteca de índice/vocabulario de recuperación. En base a esto, propusimos conjuntamente una solución de creación de biblioteca de índice/pot de un clic con el lado de la plataforma, específicamente, el El personal del algoritmo abstrae y encapsula todos los scripts de producción de biblioteca de índice/vocabulario de recuperación requeridos en la plantilla, reserva parámetros de entrada y salida, y el lado de la plataforma obtiene comandos de creación de biblioteca de índice/vocabulario de recuperación específicos a través de la interfaz frontal, y usa este comando como un parámetro de entrada para ingresar el paquete de código preempaquetado por el personal del algoritmo.Para actualizar la tarea regularmente todos los días y crear automáticamente una tarea de programación BDP, el parámetro de salida del paquete de código se envía de vuelta al lado de la plataforma a través de DUCC como un creación posterior de vocabulario/ La base de la biblioteca de índice, para completar la creación totalmente automática del vocabulario de recuperación o biblioteca de índice;

Creación e implementación de la biblioteca pot/index con un solo clic

3.1.3 Compatibilidad con el modelo de secuenciación multiservicio

Para cubrir más necesidades comerciales, en el módulo de clasificación, consideramos principalmente los requisitos para las capacidades de clasificación bajo diferentes modos comerciales.Por ejemplo, en el escenario de hundimiento, es más necesario mejorar el índice UCVR, y algunas necesidades comerciales del La estación maestra espera mejorar la UCTR del usuario. Por lo tanto, para tener en cuenta las diversas necesidades comerciales, clasificamos tres modelos de uso común, a saber, el modelo de clasificación de dominios múltiples del sitio principal, el modelo de clasificación de hundimiento de la edición especial, y el modelo de clasificación empresarial de ToB, e integró los tres modelos anteriores en cada plantilla, y proporcionó la introducción y las instrucciones de uso de cada modelo, el lado comercial puede elegir de acuerdo con el contenido específico de la demanda;

Selección de modelo de clasificación

3.2 Caso 2 Crear herramientas PaaS eficientes y fáciles de usar

El uso racional de las herramientas no solo puede mejorar la eficiencia de nuestro trabajo, sino también facilitar nuestro trabajo; aquí tomamos el pájaro carpintero que creamos en la experiencia del usuario como ejemplo para explicar la aplicación de las herramientas PaaS en los negocios; ( Pájaro carpintero para explicación de sustantivo: una herramienta de plataforma que admite filtrado/desbaneo fuera de línea y autoconfiguración)

3.2.1 Ordenación por demanda

En el módulo de experiencia del usuario, a menudo hay necesidades comerciales que necesitan filtrar productos, categorías, palabras confidenciales, etc., o filtrar dentro de un cierto período de tiempo, y luego liberarlos después de que pase el tiempo; antes de crear un pájaro carpintero, recibido necesidades similares. , escribirá manualmente productos, categorías o palabras confidenciales en un texto, y luego empujará el texto a una determinada ruta de hdfs. Cuando se ejecute la tarea de programación BDP del día siguiente, la tabla de datos se actualizará para lograr el filtrado o lanzamiento Al observar el proceso anterior, no es difícil encontrar que la modificación manual del texto puede conducir fácilmente a errores, y la eliminación o adición involuntaria puede causar que la tarea de programación del día siguiente se bloquee y se vuelva inestable; además, después de que los recién llegados se hagan cargo de dicho necesidades, capacitación El costo es extremadamente alto, y debe enseñarle varias veces antes de atreverse a confiarle un trabajo así, que es difícil de operar;

Para resolver tales problemas, planeamos crear una herramienta PaaS eficiente y fácil de usar. Dicha herramienta puede proporcionar adición, eliminación, modificación y consulta estables, y debe ser fácil de operar. Lo mejor es saber cómo para operarlo de un vistazo Basado en esta idea, combinamos la plataforma para crear Woodpecker;

3.2.2 Diseño y desarrollo de Woodpecker

Ideas de diseño:

A través de la plataforma jrec, todo filtrado/liberación fuera de línea se puede configurar como paas.La plataforma debe tener las siguientes capacidades:

La plataforma Woodpecker proporciona entrada de configuración de filtro y liberación, proporcionada por la plataforma jrec;
Las reglas a largo plazo configuradas en la plataforma se pueden mover fuera de línea para reducir la ocupación de los recursos del servicio en línea;
El filtrado fuera de línea se puede configurar de manera flexible y admite la liberación fuera de línea, lo que reduce los costos de operación manual;

Diseño:

El diseño general de la solución se muestra en la siguiente figura. Después de la configuración a través de la interfaz WEB de la plataforma, los datos se transferirán a la parte de la tarea de computación fuera de línea a través de DUCC. Una vez que se complete la tarea de computación fuera de línea, el derivado se almacenará en caché en jimdb, y el servicio de filtro o el operador de filtro ps se configurará en línea.Se puede completar el filtrado y la liberación de productos, categorías o palabras confidenciales;

Implementación del aterrizaje del pájaro carpintero

3.3.3 Uso del pájaro carpintero

Woodpecker ha creado y entregado el algoritmo correspondiente al personal para que lo use, y también proporcionamos un manual de usuario detallado para que lo aprendan los recién llegados;

4. Resumen de la experiencia práctica

En el proceso de exploración y práctica de PaaS de algoritmos de recomendación, nosotros, como proveedores de capacidades y usuarios de capacidades, por un lado, resumimos y clasificamos las herramientas de PaaS que deben proporcionarse desde la perspectiva de los proveedores de capacidades; por otro lado , desde la perspectiva de la capacidad Desde el punto de vista del usuario, para evaluar si la herramienta es eficiente y fácil de usar;

Como proveedor de capacidades : a través de la clasificación de los requisitos comerciales y la experiencia comercial a largo plazo de los desarrolladores de PaaS, en función del sistema de recomendación existente, a través de la división en componentes de los algoritmos de recomendación, volver a comprender el sistema y volver a planificar el proceso;

Como usuario de capacidades : de pasivo a activo, puedo percibir verdaderamente la mejora de la eficiencia de las herramientas, ser bueno en el uso de herramientas y usar herramientas PaaS para completar fácilmente los requisitos comerciales complejos. Siempre que quiera hacerlo, puedo controlar el ritmo de entrega de la demanda;

5. Perspectivas para el futuro del trabajo

Esperamos que bajo el interés compuesto del largoplacismo, la acumulación de algoritmos de recomendación PaaS se convierta en un milagro; en base a nuestra comprensión actual de las necesidades comerciales, en el futuro continuaremos cultivando los siguientes aspectos:

5.1 Creación de capacidad de recomendación personalizada jerárquica de plantilla de escena

En el futuro, actualizaremos las capacidades personalizadas de las plantillas Basándonos en el estado actual de la versión básica, proporcionaremos capacidades de versión avanzada y versión de alto nivel para satisfacer las demandas más diversas del negocio;

5.2 Crear herramientas PaaS eficientes y fáciles de usar

5.2.1 Desarrollo de capacidades de servicio de un solo material

En primer lugar, debemos explicar por qué necesitamos crear una capacidad de servicio de un solo material. Una razón importante es que las plantillas de escena solo pueden admitir nuevas recomendaciones, y dichos requisitos no deberían ser muy complicados. Para nuevas recomendaciones complejas o existentes. La plantilla de escena de optimización de la posición recomendada no puede brindar soporte; en base a esto, proponemos el concepto de reutilización del servicio. Específicamente, planeamos construir un solo material en un servicio uno por uno, y el personal del algoritmo se enfocará en optimizar el servicio en una manera integral La nueva posición de recomendación debe optimizarse y la optimización iterativa de las posiciones de recomendación existentes se potencia a través de servicios, que no solo pueden reducir la entrada de mano de obra de algoritmo, sino también acortar el ciclo de entrega de los requisitos comerciales;

5.2.2 Actualización adicional de la plataforma de componentes del algoritmo

Con el fin de mejorar la experiencia del usuario de las capacidades PaaS de algoritmos de recomendación, planeamos convertir en plataforma algunas capacidades de algoritmos comunes para deshacernos de las operaciones actuales que aún requieren que el personal de algoritmos copie manualmente, y realmente realizar el método de operación de apuntar y hacer clic. , en el futuro, también cooperaremos con el lado de la plataforma para construir conjuntamente dichas capacidades de plataforma y liberar aún más el trabajo repetitivo del personal de algoritmos;