Para más intercambios técnicos y oportunidades laborales, siga la cuenta oficial de WeChat de ByteDance Data Platform y responda [1] para ingresar al grupo de comunicación oficial.
Recientemente, la plataforma de inteligencia digital Volcano Engine celebró un evento llamado "Into the Volcano - Full Link Growth: The Data Flywheel Turns and New Power for Consumption". El gerente de producto de la plataforma de inteligencia digital Volcano Engine, DataTester, compartió la experiencia del consumidor de Volcano. Engine AB Test (DataTester) Prácticas de aplicación industrial y lanzó una nueva característica de la reciente actualización del producto: el experimento de ajuste inteligente MAB.
En el pasado, la eficacia de una nueva función de producto a menudo se evaluaba basándose en la comparación de datos antes y después del lanzamiento de la función. En realidad, este método tiene muchos defectos: por ejemplo, en la práctica, muchos factores que influyen no se eliminan, lo que da lugar a datos imprecisos y poco fiables y, por tanto, a resultados de evaluación inexactos.
La prueba A/B es un experimento de muestreo aleatorio diseñado científicamente que elimina por completo otros factores para obtener una conclusión más precisa, lo que se denomina el estándar de oro para la evaluación de efectos.
En la actualidad, los experimentos A/B se han convertido en una parte importante de muchas empresas antes de tomar decisiones comerciales. Su valor fundamental
es ayudar a las empresas a realizar atribuciones más razonables y decisiones más científicas al tomar decisiones comerciales.
A lo largo de todo el proceso, si cada decisión puede aportar beneficios positivos al negocio, entonces, con el efecto de interés compuesto, la empresa podrá lograr un crecimiento estable.
En Byte, la plataforma de experimentos A/B es una infraestructura integrada al negocio y una herramienta de toma de decisiones de crecimiento a largo plazo. En la actualidad, Byte ha expuesto su plataforma experimental A/B interna a través de Volcano Engine y la ha denominado DataTester. DataTester admite capacidades inteligentes de enlace completo en rutas de experimentación y evaluación, proporcionando a los usuarios empresariales una plataforma de ajuste inteligente basada en escenarios integral. A diferencia de otros productos de la industria, DataTeter presta especial atención a las aplicaciones prácticas en los negocios y proporciona muchas plantillas de evaluación de pruebas que están profundamente integradas con los escenarios comerciales.
Los experimentos A/B mejoran la eficiencia del marketing multitáctil corporativo
En la industria de consumo, los escenarios de aplicación más concentrados para las pruebas A/B son el marketing multitáctil y las operaciones de dominio privado. En términos de marketing multitáctil, las empresas pueden utilizar pruebas A/B para evaluar la eficacia de la publicidad, incluida la publicidad de rendimiento y la publicidad de marca; también pueden utilizar experimentos A/B para probar estrategias al lanzar nuevos productos.
Volcano Engine DataTester puede proporcionar a las empresas una solución integral que está profundamente integrada en la plataforma empresarial empresarial a través de una serie de experimentos de escenarios, junto con plantillas de escenarios y capacidades de integración abierta.
Volcano Engine DataTester proporciona enlaces básicos de monitoreo y entrega de publicidad y los resume en capacidades experimentales para escenarios publicitarios. También se puede conectar con datos de productos como VeCDP. Una vez completada dicha asociación de datos, los operadores pueden lograr una selección de público, una selección de estrategias de contenido y una creación integral de materiales de marketing en cualquier etapa de la entrega de marketing. Los experimentos también se pueden iniciar rápidamente durante el proceso de entrega, logrando así una evaluación científica y una mejora general de la eficiencia.
-
Experimento de comparación de división creativa . Mediante experimentos de comparación dividida de materiales y experimentos de comparación dividida de grupos de personas, la publicidad puede determinar rápidamente qué tipo de tonalidad del material es más acorde con los puntos de venta de la promoción de este producto, y al mismo tiempo, también puede analizar qué tipo de personas son. más interesado en qué tipo de material.
-
Experimento de medición de efectividad de marca . Construimos un experimento virtual entre personas que invierten en publicidad y aquellas que no invierten en publicidad. A través de los datos de comparación experimental, combinados con una serie de medios como cuestionarios, recopilamos cuantificación de datos subjetivos similares a la memoria de la marca y el nivel de recomendación, y analizamos ya sea después de colocar publicidad, si aporta eficiencia a la marca. Esto determina si vale la pena seguir invirtiendo en publicidad.
-
Experimento de página de destino de marketing . En combinación con las pruebas de concepto y las pruebas A/B creadas conjuntamente por expertos, llevamos a cabo pruebas de materiales de marketing, audiencias objetivo y preocupaciones sobre este nuevo producto, así como características del empaque externo y preocupaciones principales. Al mismo tiempo, se realizaron pruebas A/B sobre el efecto de marketing del concepto en sí. Además, los canales también se pueden combinar: los canales fuera de línea pueden recopilar datos de dos tipos de canales: nuevos productos lanzados y nuevos productos no lanzados, y se puede construir un experimento virtual mediante una serie de métodos estadísticos. A través de la comparación de datos experimentales, podemos obtener los datos de conversión del marketing de vínculo de retroceso y las ventas reales, y evaluar si el lanzamiento de nuevos productos tiene un impacto positivo en las ventas generales y, de ser así, podemos lanzar nuevos productos en todos los canales.
Los experimentos A/B mejoran la eficiencia de la conversión de dominios privados
En las operaciones de dominio privado en la industria de consumo, cada vez que una empresa lanza un nuevo juego o una nueva función, puede obtener comentarios a través de pruebas A/B en línea para saber si los cambios pueden lograr beneficios positivos. Por ejemplo, experimente con el mejor precio de los productos, la mejor ubicación de la página, etc., y mejore la eficiencia del alcance de los usuarios mediante la optimización estratégica.
-
Experimento de diseño de funciones de mini programa . Los usuarios de lujo han cambiado el diseño de la pantalla general del mini programa, agregando una sección de mezcla y combinación y una sección de combinación clásica a la derecha, y agregando una sección de productos populares en la parte inferior. Después del experimento, se descubrió que el efecto era significativo: después de agregar estas entradas, la tasa de clics en los detalles aumentó en más del 70% y la tasa de conversión de compras de cada módulo aumentó en un 30%. Muestra que el tono de la página de inicio debe mejorarse y hacerse más conciso, y que aumentar la exposición es un método de marketing más eficaz.
-
Experimento de enlace de registro/inicio de sesión . El enlace para que los clientes de la marca inicien sesión en el sitio web oficial ha sido cambiado. Antes del cambio, el proceso ponía más énfasis en el registro. Después del cambio, se puso más énfasis en iniciar sesión con prioridad. Este cambio en la prioridad aumentó la orientación subjetiva para usuarios.
-
Experimentos de algoritmos recomendados . Este tipo de experimento se puede realizar de forma continua durante mucho tiempo, como "adivina que te gusta" debajo del carrito de compras. El algoritmo agregado ha hecho que la mejora general sea muy obvia. En el uso real, no solo puede experimentar con algoritmos existentes, sino también integrarse y vincularse con la plataforma de recomendación de Volcano Engine. Y después de comprar el servicio de recomendación inteligente de Volcano Engine, puede utilizar las pruebas A/B directamente en la plataforma de recomendación de Volcano Engine.
Además, las pruebas A/B se pueden utilizar para optimizar escenarios de alcance de usuarios, como aplicaciones propiedad de la empresa, miniprogramas, puntos de contacto de sitios web oficiales, etc., que pueden mejorar la eficiencia de los enlaces de conversión de usuarios a través de experimentos A/B.
-
Experimento de marketing por SMS . Por ejemplo, si una empresa tiene una plataforma de marketing por SMS, solo necesita integrar el módulo A/B en esta plataforma. Siempre que se concentre en la plataforma sin cambiar el método de trabajo original, puede preparar rápidamente redacción publicitaria y páginas de destino. , probando así qué tipo de redacción publicitaria El efecto es mejor. Lo mismo ocurre si existe un backend para las operaciones y la gestión internas y se pueden probar rápidamente los efectos de diferentes materiales.
-
El experimento App Push es similar al experimento de marketing por SMS.
-
Experimento de bits de recursos operativos . Divida y seleccione grupos según los grupos de clientes, y luego pruebe sus comentarios en diferentes materiales según los diferentes grupos de clientes, de esta manera se pueden solidificar las conclusiones de la prueba A/B, logrando así el marketing online automático para miles de personas. Esta función se puede conectar con el backend operativo de la empresa y la plataforma de marketing de compras de terceros. Esto permite una liberación multifacética y diferenciada para miles de personas en el momento de la liberación.
Al final del intercambio, Volcano Engine DataTester lanzó la última función: MAB Intelligent Tuning Experiment (Multi-Armed Bandit), que puede ajustar inteligentemente la distribución de la proporción de tráfico de diferentes grupos experimentales dentro del experimento en función del rendimiento de los datos experimentales actuales. tipo.
Los experimentos A/B tradicionales se basan en pruebas de hipótesis clásicas de significación estadística, asignando el tráfico correspondiente a la versión de control y a la versión experimental, pero el tráfico de cada subversión no se puede cambiar durante el experimento. Por lo tanto, este tipo de experimento requiere un período de reserva especial (al menos 7 días), deben ingresar muestras suficientes al experimento y no debe haber cambios una vez iniciado el experimento para obtener resultados significativos.
El experimento de ajuste inteligente MAB de Volcano Engine DataTester supera las limitaciones mencionadas anteriormente de los experimentos tradicionales A/B. Después de reciclar los datos, ajustará el algoritmo en tiempo real para procesar automáticamente la siguiente asignación de tráfico, logrando así una toma de decisiones eficiente. Este proceso no sólo ahorra tiempo, sino que también elimina la necesidad de introducir errores en el juicio humano, maximizando así el efecto final.
Los experimentos de sintonización inteligente MAB han ampliado enormemente los escenarios en los que se pueden aplicar los experimentos AB. En escenarios comerciales con arranque en frío, poco tráfico y ciclos cortos, se pueden utilizar experimentos MAB para optimizar. Además, en algunos escenarios específicos, como pruebas de optimización experimentales A/B que involucran títulos de copia de aplicaciones, miniaturas, contenido de video, etc. Cuando necesite obtener la cantidad máxima de clics en un período de ventana corto, también puede utilizar los experimentos de ajuste inteligente de MAB.
Aunque este intercambio fue breve, cubrió todo, desde el concepto del producto hasta la práctica específica. Los participantes no solo aprendieron sobre las pruebas A/B y sus nuevas funciones, sino que también aprendieron más sobre la cobertura de aplicaciones y las tendencias futuras de las pruebas A/B. También habrá una exploración más profunda del uso real de las pruebas A/B en el futuro.
Haga clic para ir a
Pruebas A/B de Volcano Engine
para obtener más información.
{{o.nombre}}
{{m.nombre}}