Sobre el Autor
Ryan, experto en algoritmos de Ctrip, se centra en recomendaciones personalizadas, marketing inteligente y otros campos;
Xiaobai es ingeniero de algoritmos en Ctrip y investiga áreas como el marketing inteligente y el crecimiento de usuarios.
1. Antecedentes
La Internet actual está en auge en una era en la que el tráfico es el rey. Sin embargo, a medida que el dividendo del tráfico desaparece gradualmente y el costo de adquisición de clientes aumenta, la retención de usuarios se ha convertido en una preocupación clave para las principales empresas de Internet. Entre ellas, la recuperación de los usuarios perdidos es En el tráfico actual del mercado del océano rojo es particularmente crítico, por lo que nace la aplicación de tecnología de marketing inteligente basada en big data y aprendizaje automático.
El negocio de boletos de tren de Ctrip tiene actividades de marketing por SMS todas las semanas, con el objetivo de recordar a los clientes habituales que no han realizado pedidos recientemente mediante el envío de mensajes de texto para promover las recompras y mejorar la fidelidad del usuario (el proceso comercial se muestra en la Figura 1); estrategia comercial original Es una método basado en reglas que selecciona aleatoriamente una parte del grupo de usuarios que cumple con las condiciones para la entrega de mensajes de texto. Para resolver los problemas de que este método sea demasiado extenso, efecto de recuperación deficiente y bajo retorno de la inversión del envío de mensajes de texto, proponemos un estimación de la tasa de conversión basada en el modelo de respuesta en etapas Modelo, modelo de predicción de sensibilidad de SMS basado en el modelo Uplift y definición, desmantelamiento y optimización más científicos del problema uno por uno.
Figura 1 Diagrama de flujo empresarial de recuperación de SMS del billete de tren Ctrip
2. Definición del problema
Los problemas centrales que deben resolverse en el servicio de recuperación de SMS anterior se pueden resumir de manera abstracta de la siguiente manera:
Definición : Del grupo de usuarios de clientes habituales que cumplen las condiciones (suponiendo que el tamaño del usuario es N), se eliminan K usuarios mediante estrategias o modelos (bajo la restricción de costo de SMS, K suele ser menor que N). Después de enviar mensajes SMS a estos usuarios, la tasa de conversión general y el ROI de los mensajes de texto.
3. Solución
3.1 Modelo de estimación de la tasa de conversión basado en el modelo de respuesta
En respuesta a los problemas anteriores, en el caso de que solo haya registros del historial de envío de SMS basados en estrategias comerciales, primero intentamos predecir la probabilidad de realizar pedidos de los usuarios después de verse afectados por el marketing por SMS mediante la construcción de un modelo de estimación de la tasa de conversión basado en la respuesta. Modele y luego seleccione la probabilidad del orden. La gran cantidad de usuarios envían mensajes de texto. Este método se puede describir formalmente de la siguiente manera:
V1
Objetivo : encontrar K usuarios entre N usuarios que tengan la mayor probabilidad de orden después de enviar mensajes de texto.
Método : cree un modelo de estimación de la tasa de conversión para los usuarios después de alcanzar el SMS en función de los registros históricos de envío de SMS (teniendo en cuenta el tamaño de la muestra y la alta proporción de funciones continuas, utilizamos XGBoost), califique el grupo de usuarios objetivo y seleccione los K pedidos principales. El usuario con mayor probabilidad (definición de etiqueta: después de enviar el mensaje de texto, si el usuario realiza un pedido, es una muestra positiva, y si el usuario no realiza un pedido, es una muestra negativa).
Plan experimental : como se muestra en la Figura 2, N usuarios primero se dividen aleatoriamente en dos grupos A y B.
a. Grupo de control: seleccione aleatoriamente usuarios de K/2 en el grupo A para la entrega de SMS;
b. Grupo experimental: en el grupo B, el modelo de estimación de la tasa de conversión se utiliza para predecir puntuaciones, y los principales usuarios de K/2 se seleccionan de mayor a menor según sus puntuaciones.
Indicadores de evaluación : fuera de línea: AUC, tasa de recuperación de TopK; en línea: tasa de conversión de usuarios, retorno de la inversión en envío de SMS.
Figura 2 Diagrama de flujo del plan experimental v1
Después del experimento de este programa, el grupo experimental logró mejoras significativas en los indicadores de evaluación antes mencionados en comparación con el grupo de control, sin embargo, después de un análisis cuidadoso, se encontró que existen dos problemas obvios:
a) Indicadores de evaluación irrazonables : en comparación con los usuarios seleccionados al azar, los usuarios seleccionados por el modelo de estimación de la tasa de conversión tienen un sesgo natural en la probabilidad del orden;
b) El plan experimental no es razonable : la influencia de los factores naturales de recuerdo de los usuarios no se puede eliminar (algunas personas realizarán pedidos independientemente de si hay actividades de marketing) y los beneficios incrementales del marketing por SMS no se pueden cuantificar.
V2
En respuesta a los dos problemas anteriores, mejoramos el plan experimental y los indicadores de evaluación:
Objetivo : verificar si los usuarios K encontrados a través del esquema v1 realizan pedidos y aumentan los ingresos después de la entrega de SMS.
Método : Construya un modelo de predicción de la tasa de conversión, igual que v1.
Plan experimental : como se muestra en la Figura 3, N usuarios primero se dividen aleatoriamente en dos grupos A y B.
a.Grupo de control: el grupo A se divide aleatoriamente en A1 y A2, y los usuarios K/2 se seleccionan aleatoriamente de A1 y A2 respectivamente. El primero enviará mensajes de texto y el segundo no enviará mensajes de texto;
b. Grupo experimental: el grupo B se divide aleatoriamente en B1 y B2, y los usuarios principales de K/2 con las puntuaciones más altas se excluyen de B1 y B2 respectivamente mediante el modelo de estimación de la tasa de conversión. El primero envía mensajes de texto, mientras que el segundo no entrega mensajes de texto.
Indicadores de evaluación : Fuera de línea: Qini Score, AUUC; En línea: Tasa de conversión incremental de personas que reciben mensajes de texto en comparación con personas que no reciben mensajes de texto, y ROI incremental del envío de mensajes de texto.
Figura 3 Diagrama de flujo del protocolo experimental v3
Aunque el plan experimental y los indicadores de evaluación de este método son más científicos y razonables, debido a los objetivos de optimización inconsistentes del modelo de estimación de la tasa de conversión y las direcciones de optimización de los indicadores de evaluación, este modelo no puede predecir los beneficios incrementales de la entrega de SMS (la influencia No se consideran los factores de conversión naturales), por esta razón, necesitamos construir aún más un modelo que esté más en línea con las necesidades del escenario empresarial para los objetivos de optimización.
3.2 Modelo de predicción de sensibilidad de SMS basado en Uplift Model
Para resolver los problemas del modelo de respuesta en los escenarios comerciales anteriores y mejorar los beneficios incrementales que brinda la entrega de SMS, creamos además un modelo de estimación de sensibilidad de SMS basado en el modelo Uplift.
El modelo Uplift es uno de los algoritmos más maduros que combina inferencia causal y aprendizaje automático en la industria. Se usa ampliamente en los campos del marketing inteligente y el crecimiento de usuarios. Primero introduzcamos el diagrama de segmentación de multitudes de marketing más clásico que se utiliza para explicar el Modelo de elevación:
Figura 4 Diagrama de división de cuatro cuadrantes de las multitudes de marketing
Las cuatro categorías de personas en la figura se explican a continuación:
a. Grupos sensibles al marketing: si las actividades de marketing les llegan (mensajes de texto, cupones, etc.), comprarán; si las actividades de marketing no les llegan, no comprarán;
b. Multitud de conversión natural: comprarán independientemente de si las actividades de marketing llegan a ellos;
c) Personas indiferentes: No comprarán independientemente de que les llegue la campaña de marketing;
d) Personas a las que no les gusta el marketing: las personas a las que no llegan las actividades de marketing comprarán, pero aquellas a las que sí llegan las actividades de marketing no comprarán.
Obviamente, el objetivo del marketing inteligente es encontrar en la medida de lo posible los grupos sensibles al marketing de la Figura 4 para maximizar los beneficios incrementales de las actividades de marketing. El modelo Uplift nació con este propósito.
El modelo Uplift es un tipo de modelo utilizado para estimar el efecto de un determinado factor de intervención (Tratamiento, en lo sucesivo denominado T) sobre el efecto del tratamiento individual (Efecto del tratamiento individual, denominado ITE). En el escenario empresarial anterior, supongamos que T=0 representa no enviar mensajes de texto (el grupo de personas correspondiente se denomina grupo T), T=1 representa enviar mensajes de texto (el grupo de personas correspondiente se denomina grupo C), X representa las características del usuario, Y representa el valor de predicción de salida y P representa la probabilidad de conversión, ITE, es el cambio incremental en la probabilidad de conversión, que se puede expresar formalmente de la siguiente manera:
ITE=P(Y|X=x,T=1)-P(Y|X=x,T=0) （1）
Los modelos Uplift utilizados comúnmente incluyen Meta-learner (S-learner, T-learner, X-learner, etc. [1]) y Learner basado en árbol (Uplift Tree [2], Causal Forest [3], etc.) y Dnn Aprendiz basado en (TARNet [4], CEVAE [5], etc.), entre los cuales Causal Forest se basa principalmente en Uplift Tree para el aprendizaje conjunto a través de bosques aleatorios. El enfoque más popular en la industria es utilizar bosques aleatorios generalizados (GRF [6] ).
Las características de los tres tipos de modelos Uplift anteriores se resumen a continuación:
| Nombre del modelo | ventaja | defecto |
| Metaaprendiz | Tiene una gran escalabilidad y un rendimiento relativamente estable. El modelo básico se puede aplicar directamente a los modelos de clasificación existentes (LR/GBDT/DNN, etc.) | Modelado indirecto de ITE, el modelo básico sigue siendo el modelo de respuesta y es necesario mejorar la capacidad de ajuste del modelo. |
| Alumno basado en árboles | Modele directamente ITE, con una fuerte capacidad de ajuste de modelos | La implementación de ingeniería es difícil, sensible a la distribución de datos y la capacidad de generalización es inestable |
| Alumno basado en DNN | Intercambio de parámetros, definición flexible de la estructura del modelo y función de pérdida, y sólida capacidad de ajuste del modelo. | Se requiere una gran cantidad de datos de entrenamiento; de lo contrario, será difícil aprovechar las capacidades de ajuste del modelo. |
Tabla 1 Resumen de las características del modelo Uplift
A través del modelo Uplift, podemos estimar los beneficios incrementales del marketing por SMS para los usuarios. Con base en la clasificación cuantitativa de los beneficios incrementales, podemos descartar los grupos sensibles al marketing que se muestran en la Figura 4. El plan experimental aún sigue el proceso que se muestra en Figura 3. Cosas a tener en cuenta El modelado del modelo Uplift tiene requisitos más altos para muestras de entrenamiento y debe obedecer el supuesto de independencia condicional de CIA (Supuesto de independencia condicional). Podemos satisfacer esta condición manteniendo X y T independientes entre sí. Con este fin, mientras realizamos experimentos, reservaremos una pequeña cantidad de tráfico para experimentos aleatorios A / B. El grupo experimental seleccionará aleatoriamente algunos usuarios para enviar mensajes de texto y el grupo de control seleccionará aleatoriamente algunos usuarios para no enviar mensajes de texto. Este experimento puede proporcionar modelos de modelo Uplift que proporcionan muestras imparciales.
4. Resultados experimentales
De acuerdo con el plan experimental que se muestra en la Figura 3, realizamos dos experimentos por etapas. La primera vez fue para verificar si el modelo de estimación de la tasa de conversión basado en el Modelo de Respuesta aportaba beneficios incrementales al marketing por SMS. Sus efectos en línea se muestran en la Tabla 2. Se puede ver que en nuestro escenario empresarial, en comparación con personas seleccionadas al azar, el marketing por SMS en realidad tiene un efecto positivo más fuerte en las personas con altas tasas de conversión, por lo que se considera un intento relativamente exitoso.
Tabla 2 Resultados del experimento en línea: modelo de respuesta frente a aleatorio
El modelo de estimación de la tasa de conversión basado en el Modelo de Respuesta ha sido verificado mediante experimentos en línea. Aunque los indicadores comerciales han mejorado significativamente, según el análisis de los beneficios incrementales del marketing por SMS en este artículo, decidimos continuar con la segunda fase de evaluación experimental. Resultados del modelado fuera de línea como se muestra en la Tabla 3:
Tabla 3 Resultados de la evaluación fuera de línea: modelo de mejora versus modelo de respuesta
La Tabla 3 evalúa principalmente la mejora del indicador fuera de línea del modelo Uplift construido en base a Meta-learner en comparación con el modelo de respuesta. Para este experimento, utilizamos el modelo de predicción de la tasa de conversión basado en el modelo de respuesta como versión de control y la predicción de sensibilidad de SMS. Modelo basado en el modelo Uplift. El modelo de estimación se utiliza como versión experimental, entre los cuales el modelo Uplift es un estudiante T con un efecto de evaluación fuera de línea relativamente bueno. El efecto en línea se muestra en la Tabla 4:
Tabla 4 Resultados del experimento en línea: modelo de elevación versus modelo de respuesta
Como se puede ver en la Tabla 4, el desempeño en línea del Modelo Uplift es consistente con el del modelo fuera de línea. En comparación con el Modelo de Respuesta, ha logrado una mejora significativa en los indicadores comerciales. Esto también verifica que el Modelo Uplift es realmente adecuado para mejorando los beneficios incrementales del marketing por SMS y ayuda a descubrir grupos más sensibles para el marketing por SMS.
5. Exploración y análisis
Después de realizar las dos fases de experimentos anteriores, continuamos explorando la aplicabilidad de más modelos Uplift en nuestros escenarios comerciales y también evaluando la necesidad de continuar con las iteraciones experimentales en el negocio actual.
Además de Meta-Learner, también elegimos el alumno basado en árbol representado por GRF y el alumno basado en Dnn representado por TARNet para evaluación y comparación. Al mismo tiempo, consideramos la posibilidad de agregar T como una característica en S-learner al proceso de entrenamiento del modelo diluido por muchas características del usuario, usamos PCA para reducir la dimensionalidad de las características del usuario y luego usamos T como característica para entrenar y evaluar con S-learner (es decir, PCA+S-learner en la Tabla 5). Establezca v1 en la tabla, continuamos usando el conjunto de pruebas consistentes de la Tabla 3.
Los resultados de la evaluación fuera de línea de cada modelo son los siguientes:
Tabla 5 Resultados de la evaluación de indicadores fuera de línea del modelo Uplift (conjunto de pruebas v1)
Figura 5 Resultados de la evaluación fuera de línea del modelo Uplift: curva Qini (conjunto de prueba v1)
Para ver los beneficios incrementales del modelo Uplift con mayor claridad, también trazamos la curva Qini, como se muestra en la Figura 5 (la abscisa en la figura representa la proporción de muestras ordenadas por valor estimado de ITE y la ordenada representa la conversión real del correspondiente incremento de población, cuanto mayor sea el área bajo la curva, mejor será el efecto del modelo):
Como se puede ver en la Tabla 5 y la Figura 5, el rendimiento de TARNet, GRF y PCA+S-learner es sobresaliente, sin embargo, considerando que estos modelos se ven fácilmente afectados por la distribución general de datos, para evaluar la capacidad de generalización de cada modelo, seleccionamos adicionalmente Se seleccionó el conjunto de datos de prueba en línea v2, que se vio afectado por la epidemia más tarde, y sus resultados de evaluación fuera de línea se muestran en la Figura 6 y la Figura 6:
Tabla 6 Resultados de la evaluación de indicadores fuera de línea del modelo Uplift (conjunto de pruebas v2)
Figura 6 Resultados de la evaluación fuera de línea del modelo Uplift: curva Qini (conjunto de prueba v2)
Como se puede ver en la Tabla 6 y la Figura 6, modelos como PCA + S-learner, GRF y TARNet son susceptibles a cambios en la distribución de datos. Estos modelos necesitan optimizar aún más la estructura del modelo para mejorar las capacidades de generalización y mejorar la solidez. de adaptación a los cambios en la distribución de datos.Esta es una de las direcciones para nuestra exploración posterior; entre ellas, T-learner tiene un rendimiento relativamente estable y una gran capacidad para adaptarse a los cambios en la distribución de datos, lo que lo hace más adecuado para nuestros escenarios comerciales actuales.
6. Resumen y perspectivas
El negocio de recuperación de SMS de billetes de tren de Ctrip es un escenario de marketing inteligente relativamente típico. El proceso de optimización y las conclusiones del algoritmo de recuperación de SMS se resumen a continuación:
a. Para escenarios de marketing inteligente, el modelo Uplift, que estima directamente el efecto incremental de los factores de intervención, tiene una mayor aplicabilidad que el modelo de respuesta tradicional;
b. Los escenarios de marketing inteligente requieren el diseño de planes experimentales científicos y razonables para verificar los efectos incrementales de los factores de intervención. Es mejor reservar parte del tráfico para experimentos aleatorios para proporcionar muestras imparciales para la capacitación y evaluación del modelo Uplift;
C. Hay muchas formas de implementar el modelo Uplift (metaaprendizaje, aprendizaje basado en árboles, aprendizaje basado en DNN, etc.). Entre ellas, T-learner es relativamente estable y adecuado en nuestros escenarios comerciales, pero puede que no lo sea. adecuado para otras aplicaciones. Los escenarios deben analizarse y evaluarse en función de las condiciones reales;
D. Nuestra exploración del modelo Uplift debe profundizarse aún más, como lidiar con factores continuos y de intervención múltiple, optimizar la estructura del modelo para mejorar las capacidades de generalización y resolver modelos conjuntos multiobjetivo entre dominios.
7. Referencias
Künzel SR, Sekhon JS, Bickel PJ, et al. Metalearners para estimar efectos de tratamiento heterogéneos mediante aprendizaje automático [J]. Actas de la academia nacional de ciencias, 2019, 116(10): 4156-4165.
Rzepakowski P, Jaroszewicz S. Árboles de decisión para modelado de elevación con tratamientos únicos y múltiples [J]. Conocimiento y sistemas de información, 2012, 32: 303-327.
Wager S, Athey S. Estimación e inferencia de efectos de tratamientos heterogéneos utilizando bosques aleatorios [J]. Revista de la Asociación Estadounidense de Estadística, 2018, 113(523): 1228-1242.
Shalit U, Johansson FD, Sontag D. Estimación del efecto del tratamiento individual: límites de generalización y algoritmos[C]//Conferencia internacional sobre aprendizaje automático. PMLR, 2017: 3076-3085.
Louizos C, Shalit U, Mooij JM, et al. Inferencia de efectos causales con modelos de variables latentes profundas [J]. Avances en los sistemas de procesamiento de información neuronal, 2017, 30.
Athey S, Tibshirani J, Wager S. Bosques aleatorios generalizados [J]. 2019.
[Recomendaciones de lectura]
Práctica de control de riesgos de registro de Ctrip Business Travel basada en la red de gráficos
Algoritmo de previsión de inventario publicitario basado en LSTM de Ctrip
Aplicación del aprendizaje profundo en el análisis del significado de palabras de búsqueda de Ctrip
Cuenta pública “Tecnología Ctrip”
Compartir, comunicar, crecer