¿Qué debo hacer si el experimento AB encuentra usuarios desiguales? —— Intercambio de experiencias prácticas de negocios del centro de juegos Vivo

Autor: Equipo de análisis de datos de Internet de Vivo - Li Bingchao

El experimento AB es uno de los métodos de verificación más eficientes cuando el negocio está en constante iteración y actualización, sin embargo, es necesario prestar especial atención al problema de los "usuarios desiguales" al momento de evaluar el efecto del experimento AB. preste atención, las conclusiones de la investigación pueden ser incorrectas, trayendo grandes riesgos a las decisiones comerciales. Por lo tanto, en respuesta a este problema, nuestro negocio de juegos, con la ayuda de la capacidad de muestreo estratificado (algoritmo de balance de covariables) que el equipo experimental de Hawking ha logrado, exploró un conjunto de esquemas de "estratificación previa al usuario" basados ​​en la lógica de estratificación del usuario, y el equipo del proyecto de la plataforma experimental de Hawking, el equipo del proyecto de lanzamiento de la versión trabajó en conjunto para promover la implementación del plan y mejorar la uniformidad del usuario del experimento AB del negocio del juego. Basado en casos de aplicación reales, este artículo elaborará el proceso de pensamiento, los principios de implementación y los resultados de la aplicación de los modelos de métodos relevantes, con la esperanza de ayudarlo a brindar referencia e inspiración para resolver el problema de la desigualdad del usuario en sus respectivos campos.

I. Introducción

El negocio continúa mejorando a través de actualizaciones iterativas continuas. Los experimentos AB son uno de los métodos de verificación iterativa más eficientes. Los analistas demuestran el valor de los datos investigando y optimizando planes experimentales y evaluando los efectos de los experimentos comerciales. Esta es también una de las responsabilidades principales del trabajo de un analista de datos; esto requiere que el plan experimental y la evaluación del efecto sean altamente científicos y precisos, pero en el trabajo real, la existencia de falta de homogeneidad del usuario afectará directamente al analista La precisión de los resultados de salida, lo que a su vez afecta las decisiones relacionadas con el producto.

En los últimos años, el equipo de analistas del negocio de los juegos ha explorado e investigado continuamente soluciones al problema de la desigualdad de usuarios en el experimento AB, y ha resuelto bien esos problemas en el negocio de los juegos. Este artículo primero usa el concepto y el impacto de la desigualdad del usuario como un presagio, y luego usa la solución como la línea principal para explicar los resultados prácticos del equipo de analistas de juegos para resolver el problema de la desigualdad del usuario en los experimentos AB, y espera con ansias el futuro.

2. ¿Qué es el desnivel del usuario?

2.1 ¿Qué es la falta de homogeneidad del usuario en los experimentos AB?

La iteración empresarial basada en la lógica del experimento AB tiene una premisa fundamental: excepto por la única variable que cambia en el propio producto, otros factores relevantes, especialmente las características de los propios usuarios, en los dos grupos del experimento son los mismos, es decir, los dos grupos La distribución de los atributos de los usuarios es completamente uniforme .

El problema de la falta de homogeneidad de los usuarios encontrado en el experimento empresarial AB se refiere al hecho de que el grupo experimental y el grupo de control son dos grupos de personas que se utilizan para evaluar el efecto empresarial. Debido a la particularidad y otras razones, existe una gran diferencia en el Distribución previa de los indicadores de evaluación del efecto central de los dos grupos de población:

• [Método de clasificación de multitudes]: algunas empresas usan directamente ID de teléfonos móviles para clasificar grupos, pero las ID de teléfonos móviles están relacionadas con lotes de modelos de teléfonos móviles, que no tienen suficiente aleatoriedad;

• [Nivel de multitud]: el tamaño de la multitud es demasiado pequeño, el muestreo no puede garantizar que los usuarios con diferentes características sean completamente aleatorios, lo que da como resultado una distribución desigual de los usuarios;

• [Especificidad del indicador]: Los indicadores de pago del juego tienen las características de alta dispersión, distribución no normal y falta de continuidad. Los métodos de muestreo convencionales son difíciles de garantizar una buena uniformidad.

Como se muestra en la siguiente figura (diferentes colores representan usuarios con diferentes características previas):

Para dar otro ejemplo simple, por ejemplo, debido a la diferencia en la distribución de características previas entre el grupo experimental A y el grupo de control B, el desempeño histórico previo de los indicadores clave del negocio es A>B; esto lleva a la uso de dos Después de probar el clúster personal, en la evaluación del efecto empresarial, si un determinado indicador de multitud A > multitud B, ¿se debe a la mejora provocada por la estrategia empresarial o a la diferencia de los propios usuarios históricos? Esto se mete en un dilema de decisión empresarial.

2.2 Usuarios desiguales en el experimento AB del negocio del centro de juegos

Los escenarios en los que se utiliza el experimento AB en la iteración comercial del centro de juegos son principalmente el experimento AB de iteración de versión en escala de grises y el experimento AB de optimización de la estrategia comercial central; en el proceso de experimento AB anterior, ambos escenarios se han encontrado con el problema de usuarios desiguales muchas veces , pero los propósitos comerciales de los dos escenarios son diferentes, por lo que el problema de la desigualdad del usuario también es diferente. A continuación, describimos en detalle las similitudes y diferencias entre los dos escenarios.

2.2.1 Usuarios desiguales en la iteración de la versión de Game Center

Cuando se itera la versión del centro de juegos, los principales indicadores observados son la actividad del usuario en el centro, las descargas de juegos y otros indicadores; el método de división de multitudes utilizado es: use el número de cola encriptado de la identificación del teléfono móvil para agrupar, este método está en el caso de tráfico grande Sin embargo, la característica clave de la iteración de la versión es el tráfico pequeño y la iteración rápida, por lo que con tráfico pequeño, habrá diferencias en la cantidad de usuarios con diferentes rendimientos de descarga activa en el grupo experimental y el grupo de control, lo que conducirá a las diferencias entre los dos grupos Los grupos individuales tienen desigualdad en algunos indicadores básicos de observación, lo que afecta la decisión final de ampliar la versión.

2.2.2 Falta de homogeneidad del usuario en los experimentos de estrategia de Game Center

El negocio de los juegos es el principal negocio generador de ingresos de la empresa. Durante el experimento de estrategia del centro de juegos, además de observar los indicadores activos y de descarga, también es necesario observar los cambios en los indicadores de ingresos del juego en dirección hacia atrás. ; como se mencionó anteriormente, la uniformidad de los indicadores de descarga activa se puede garantizar, y el tráfico durante el experimento de estrategia es generalmente relativamente grande, y los datos históricos también prueban que bajo el tráfico del experimento de estrategia, la uniformidad de los indicadores de distribución activos se puede garantizar.

Sin embargo, como modelo de negocio especial, los ingresos por juegos son bastante diferentes de los usuarios activos y las descargas de juegos, y tiene las siguientes particularidades:

• [Número limitado de usuarios de pago]: entre los usuarios activos del juego, el número de usuarios de pago es limitado. Entre los dos grupos de usuarios seleccionados al azar, incluso si la magnitud de los usuarios activos es la misma, puede haber una gran diferencia en la magnitud de los usuarios de pago, especialmente entre los usuarios de pago alto, hubo una diferencia en la distribución entre los dos grupos.

• [La distribución de ingresos no es normal]: en un cierto período de tiempo, la distribución de pagos de los usuarios de juegos es muy grande, pero la mayoría de los usuarios no pagan mucho, por lo que la diferencia entre unos pocos usuarios que pagan mucho puede tener un mayor impacto en el resultado global de los ingresos.

• [El nivel de pago del juego no es fijo]: el pago del juego del usuario está fuertemente relacionado con el juego, por lo que la situación de pago del usuario no solo está relacionada con sus propios factores, sino también con los juegos recientes del usuario, es decir, el pago del usuario nivel es un proceso en constante cambio.

• [Distribución discontinua de alto valor de pago]: la definición de usuarios de alto pago es un concepto de rango, y la cantidad de usuarios de alto pago es limitada, por lo que el valor de alto pago específico no es continuo y habrá diferencias obvias entre alto pago usuarios Las diferencias todavía pueden tener un gran impacto cuando se ponen en conjunto.

Por lo tanto, incluso bajo el gran tráfico del escenario del experimento de la estrategia central, todavía es imposible garantizar la uniformidad del índice de ingresos durante el experimento. Las razones pueden atribuirse a dos aspectos:

1. La distribución de usuarios que pagan altos y bajos en el grupo experimental y el grupo de control es desigual, y hay una gran diferencia en la magnitud de los usuarios que pagan.

2. El valor de pago de los usuarios que pagan mucho se distribuye de forma discontinua. Incluso si los usuarios que pagan se distribuyen uniformemente en cada grupo, todavía hay una cierta brecha en el valor de pago.

3. Influencia de usuarios desiguales

Como la plataforma de distribución de juegos profesional de la compañía, el centro de juegos vivo necesita optimizar e iterar continuamente los productos del centro de juegos para brindar un mejor servicio a los usuarios del centro de juegos. El experimento AB es el principal método de verificación del efecto. Al comparar los indicadores centrales de interés comercial, se selecciona la función o versión óptima para la producción completa. Sin embargo, el problema de los usuarios desiguales tendrá un impacto relativamente grande en el ciclo cerrado del todo el proceso, incluyendo principalmente los siguientes aspectos:

1. Afectar la interpretabilidad de los datos comerciales, lo que lleva a desviaciones en la conclusión de los efectos comerciales.

En la siguiente tabla se puede ver que en algunos experimentos de estrategia empresarial en la historia de Game Center, la estrategia no tiene un impacto directo en el índice de ingresos, pero la fluctuación de todo el índice de ingresos es superior al 10 %. En este caso, es completamente imposible evaluar en base a los datos de ingresos experimentales El impacto de la estrategia comercial en los ingresos.

arpu=usuarios activos durante el período de prueba pagado después de la descarga del juego/usuarios activos

2. Traer el riesgo de estrategias comerciales equivocadas

El principal riesgo aquí es que las estrategias con efectos negativos se amplíen y las estrategias con efectos positivos no se puedan ampliar a tiempo.

3. Conduce a una gran ineficiencia en la publicación en escala de grises y se desperdicia mucha mano de obra en la resolución de problemas anormales.

En el lanzamiento de la versión en escala de grises del centro de juegos, entre 8 y 10 excepciones de la versión al año son causadas por usuarios desiguales, y una sola inspección de excepción requiere un total de 5 días-hombre de todas las partes .

Por lo tanto, cómo resolver científica y racionalmente el problema de la desigualdad del usuario en la evaluación del efecto del experimento AB del centro de juegos es de gran importancia para el desarrollo de la evaluación del efecto comercial de todo el centro de juegos.

4. Cómo lidiar con el problema de los usuarios desiguales

El problema de la desigualdad del usuario en los experimentos AB es un problema que los analistas de datos siempre han enfrentado al evaluar los efectos experimentales; la investigación de colegas probó varias soluciones diferentes:

De la comparación de los varios esquemas anteriores, se puede ver que el "modelo de estratificación previa al usuario" basado en la lógica de estratificación del usuario es la solución más científica, razonable y estable en esta etapa.

5. Introducción a Game Business Solutions——Modelo de "jerarquía previa al usuario"

Esta parte presenta principalmente el modelo de "estratificación previa al usuario", incluido el diseño del modelo, la implementación del producto y el efecto real de la aplicación en el negocio del centro de juegos, para que todos puedan comprender intuitivamente la lógica y el efecto del modelo.

5.1 Introducción a los modelos jerárquicos

Como se mencionó en la introducción anterior a la desigualdad de usuarios, aunque los experimentos AB de la escena en escala de grises de la versión central y la escena de optimización de políticas central enfrentan el problema de la desigualdad de usuarios, los problemas de desigualdad que enfrentan los dos escenarios son diferentes; por lo tanto, nos centramos en estos En dos escenarios, basado en la lógica de estratificación de usuarios, se construye un modelo jerárquico para los indicadores de distribución y los indicadores de ingresos respectivamente Al muestrear la población experimental, se extrae la misma cantidad de usuarios de diferentes estratos de usuarios en el grupo experimental y el grupo de control, en para resolver el problema de los usuarios en la evaluación del efecto empresarial.problema desigual.

Lógica de muestreo estratificado convencional : Suponiendo que el número de usuarios activos en el mercado es N, el número de usuarios activos en la i-ésima capa después de la estratificación es Ni, y el tráfico muestreado en cada grupo durante el experimento es n, entonces el muestreo el nivel de la i-ésima capa en el grupo experimental debe ser:

5.1.1 Modelo de estratificación de ingresos de juegos de usuario

Durante el experimento de la estrategia central AB, entre los indicadores de pago a los que presta atención el núcleo de negocio , el arpu de usuario activo se ve afectado principalmente por el desnivel de los usuarios, por lo tanto, de acuerdo con la definición de este indicador, se seleccionan como base algunas variables intermedias. para la estratificación de usuarios, y luego de acuerdo con estos indicadores en el usuario activo central. El desempeño en el mercado más amplio se agrupa primero de acuerdo con un solo indicador, y luego se combinan múltiples indicadores para formar el esquema de estratificación final.

5.1.2 Modelo jerárquico de distribución de usuarios

Apuntando a los indicadores de distribución relacionados con el núcleo del negocio y afectados por la desigualdad del usuario durante el experimento en escala de grises de la versión central, se seleccionan algunas variables intermedias como base para la estratificación del usuario; y luego se forma el esquema de estratificación final utilizando el mismo método que el modelo de estratificación de ingresos.

5.2 Realización del producto del modelo en capas

Después de construir el modelo jerárquico del usuario en el lado de los datos, si queremos confiar en el modelo jerárquico para el muestreo dividido en experimentos y escala de grises, debemos confiar en las funciones de la plataforma del producto, por lo que cooperamos con la plataforma experimental y la versión de Hawking. sistema de lanzamiento, y Hawking Colleagues con el sistema de lanzamiento de versión desarrollaron funciones relacionadas y conectaron el modelo jerárquico de usuario que construimos a la Plataforma Experimental de Hawking y el sistema de lanzamiento de versión respectivamente, para realizar la división de usuarios en el experimento y la versión en escala de grises basada en la lógica jerárquica del usuario, asegurando que el experimento y la versión La uniformidad del usuario entre varios grupos de personas en la escala de grises mejora la cientificidad y precisión de la evaluación del efecto hacia atrás.

El diagrama esquemático de la lógica de clasificación específica es el siguiente: (los cuatro colores diferentes en la figura representan poblaciones estratificadas de características diferentes)

Para obtener detalles sobre cómo implementar funciones específicas de la plataforma del producto, consulte: Referencia [2]

5.3 Efecto de prueba de la "estratificación previa al usuario"

Después de que se lanzaron las funciones relevantes de la plataforma experimental de Hawking y el sistema de lanzamiento de versión, el lado del análisis de datos llevó a cabo el experimento AA de la plataforma correspondiente para verificar si el efecto de la lógica de estratificación de usuarios en el problema de la desigualdad de usuarios alcanzó el nivel esperado. .

5.3.1 Conclusión de la prueba AA de la plataforma experimental de Hawking

El modelo de estratificación de usuarios puede mejorar mucho la uniformidad de los datos de ingresos experimentales del centro sin afectar la uniformidad de los indicadores de distribución originales.

• Uniformidad de distribución: bajo las dos lógicas de distribución, las fluctuaciones del índice relacionadas con la distribución no son significativas , pero el valor absoluto de las fluctuaciones es mucho menor que la lógica de distribución hash .

• Bajo la lógica de agrupación hash, el ingreso ARPU1 fluctuó en un 11,6 %; pero bajo la lógica de muestreo estratificado por usuario, las fluctuaciones del ingreso ARPU1 de los dos grupos experimentales fueron del 4,8 % y el 1,9 % , respectivamente , y las fluctuaciones del ingreso ARPU2 fueron del 3,3 % y 1,5 % , respectivamente , y la uniformidad mejoró mucho.

Observaciones: El valor de cambio relativo se calcula comparando el índice de ingresos y el índice relacionado con la actividad; el valor de cambio absoluto se calcula mediante la comparación del índice de distribución; los ingresos arpu1 y 2 representan diferentes lógicas de cálculo de ingresos.

5.3.2 Conclusión de prueba AA del sistema de liberación de versión

En términos de uniformidad de los indicadores de distribución, el modelo jerárquico de usuario es superior al método de derivación del número de cola de cifrado de identificación de teléfono móvil original.

• Uniformidad de distribución: bajo la lógica de estratificación de usuarios, cada índice de distribución no fluctúa significativamente; pero bajo la lógica de la derivación del número de cola de cifrado de ID de teléfono móvil, el índice E relacionado con la distribución del juego cambia significativamente, es decir, hay desigualdad de usuarios en este índice .

5.4 Beneficios del lanzamiento de funciones

Una vez que el modelo de "estratificación previa al usuario" se lanza y se usa en el experimento comercial del centro de juegos y el lanzamiento en escala de grises, puede traer beneficios significativos en los siguientes aspectos:

1. [La tasa de liberación efectiva en escala de grises aumentó significativamente en 9 puntos]: después de que se inicia la lógica en capas, la probabilidad de liberación efectiva en escala de grises (usuario uniforme) en el centro de juego aumenta del 86 % al 95 %, y la cantidad de liberaciones desiguales disminuye de 10 veces por año 2~3 veces/año (solo 1 vez en los últimos seis meses).

2. [Ahorre 35 días-hombre/año para la solución de problemas de excepción]: las anomalías de liberación se reducen 7 veces al año, y una única solución de problemas de excepción requiere un total de 5 días-hombre de todas las partes, ahorrando un total de 35 días-hombre/año para la solución de problemas de excepción de versión.

3. [El experimento de estrategia de avance traerá los ingresos anuales del centro +0.2% por adelantado]: después de que se inicie la lógica de estratificación de usuarios, la estrategia de avance llegará a una conclusión completa por adelantado, lo que puede traer la distribución anual de juegos del centro de juegos +0.1%, y ingresos anuales del juego +0,2 %.

4. [El experimento de estrategia negativa se desconecta a tiempo para reducir la pérdida de ingresos]: mejore la puntualidad y la precisión del juicio cuando el experimento es negativo, y reduzca la pérdida de ingresos causada por la observación a largo plazo del experimento negativo, que representa aproximadamente el 0,1% del centro. ingresos anuales.

6. Resumen y perspectiva

Para el problema de los usuarios desiguales en el experimento AB, nos basamos en la experiencia pasada, a través de pruebas y exploraciones continuas, desarrollamos un modelo de "estratificación previa al usuario" basado en la lógica de la estratificación de usuarios, y trabajamos con el equipo del proyecto Hawking y la versión equipo de proyecto del sistema de lanzamiento. Con un fuerte apoyo, el procesamiento diferenciado de diferentes escenarios ha logrado buenos resultados para resolver el problema de la desigualdad del usuario en el experimento del centro de juegos AB; Desigualdad; sin embargo, en el experimento de la estrategia central, debido a la particularidad de los datos de ingresos del juego , el esquema de estratificación de usuarios puede resolver el problema de la distribución desigual de usuarios que pagan altos y bajos en el grupo experimental; pero no puede resolver completamente el problema del valor discontinuo de altos pagos. Por lo tanto, la fluctuación del ingreso sigue siendo del 1%~ 2%, pero es mucho más bajo que el rango de fluctuación de ingresos bajo el método de desvío original.

Además, el esquema de "estratificación previa al usuario" adoptado en esta etapa puede aumentar en gran medida la probabilidad de uniformidad del usuario, pero no puede eliminar por completo el problema de la desigualdad del usuario; sin embargo, la lógica de la estratificación artificial es relativamente subjetiva; por otro lado, la razón es que hay pocos indicadores seleccionados y la información dependiente no es lo suficientemente completa, continuaremos tratando de explorar en el futuro, involucrando más información de indicadores, y al mismo tiempo usar aprendizaje automático, etc. a la construcción del sistema jerárquico de usuarios para resolver aún más el problema de la uniformidad de los usuarios en el negocio de los juegos.

Finalmente, espero que este artículo pueda brindar referencia e inspiración para que diferentes empresas resuelvan el problema de la desigualdad de los usuarios en los experimentos de AB.

referencias:

1. Mao Shisong, Wang Jinglong, Pu Xiaolong "Estadística matemática avanzada (segunda edición)"

2. Vivo Internet Technology " Diseño y práctica de Vivo Hawking Experimental Platform-Platform Product Series 02 "