El equipo de ByteDance DataTester aplicó el método experimental de prueba A/B en el campo de la publicidad y el marketing, y lo practicó con éxito por primera vez en el video de la sandía, utilizando experimentos científicos para medir los beneficios de la toma de decisiones, de modo que la publicidad y el marketing pasaron de ser creativos. metafísica a la ciencia de datos.
Texto | Plataforma de datos ByteDance Equipo DataTester
¡La mitad de mis dólares publicitarios se desperdician!
"La mitad de mis dólares publicitarios se desperdician, pero no sé qué mitad".
Esta cita clásica del magnate minorista John Wanamaker se conoce como la conjetura de Gottbach en la industria publicitaria.
La publicidad, como un eslabón importante en la operación económica, cómo medir científicamente el efecto de la publicidad siempre ha sido el enfoque, el enfoque y la dificultad de la industria.
En la era de Internet, ¿cómo podemos hacer un buen trabajo en publicidad y marketing y seguir impulsando el crecimiento empresarial?
La respuesta dada por el equipo experimental de Volcano Engine A/B es: el 50 % confía en la creatividad, el 50 % confía en la ciencia del marketing.
En comparación con la experiencia, la ciencia del marketing es una mejor manera de comprender la creatividad, utilizar métodos científicos para explorar y descifrar las leyes del marketing y ayudar a los clientes a lograr un crecimiento sostenible.
De la Metafísica a la Ciencia: Experimento A/B del Motor Volcánico
Las pruebas A/B ya son una instalación y una cultura muy básicas en ByteDance. En la actualidad, ByteDance ha agregado más de 1.800 nuevos experimentos todos los días.
Primero veamos un caso. ByteDance tiene un producto de video chino llamado Xigua Video, que originalmente se llamaba Toutiao Video. Para mejorar el reconocimiento de marca del producto, el equipo quería darle un mejor nombre. Después de una investigación interna y una lluvia de ideas, se recopilaron 4 nombres, incluidos Watermelon Video, Wonderful Video, Chopsticks Video y Sunshine Video, por lo que el equipo realizó experimentos A/B en un total de 5 nombres de aplicaciones. Los únicos cambios en este experimento son el nombre del producto y el logotipo correspondiente en el mercado de aplicaciones. El propósito del experimento es verificar qué nombre de aplicación puede mejorar mejor la tasa de clics de la aplicación "Toutiao Video" en la aplicación. Tienda. Al final, el CTR de Watermelon Video y Wonderful Video se ubicaron entre los dos primeros, pero la brecha no fue significativa. Después de una consideración exhaustiva de factores como la tonalidad del usuario, finalmente se decidió que Toutiao Video pasara a llamarse oficialmente Watermelon Video.
Como puede ver en este caso, las pruebas A/B pueden ayudar a la empresa a tomar la decisión final. Combinado con la sensación intuitiva del caso, podemos definir las pruebas A/B de esta manera: muestrear científicamente y probar en grupo al público objetivo al mismo tiempo para evaluar el efecto.
Tome la imagen de arriba como ejemplo, supongamos que tenemos 1 millón de usuarios para realizar pruebas A/B:
-
Primero seleccione el público objetivo, como los usuarios de las ciudades de primer nivel.
-
Es imposible experimentar con pruebas A/B con todos los usuarios, así que haz un muestreo científico y elige una pequeña porción del tráfico para experimentar.
-
Después del muestreo, la muestra debe dividirse en grupos. Por ejemplo, el grupo A mantiene el statu quo y un cierto factor en el grupo B cambia.
-
Después de agrupar y experimentar al mismo tiempo, puede ver los cambios en el comportamiento del usuario después de cambiar las variables.
-
Luego evalúe los resultados del experimento de acuerdo con los indicadores correspondientes a los objetivos experimentales, como la tasa de clics.
Esta es nuestra definición de prueba A/B. En la actualidad, las pruebas A/B han sido ampliamente adoptadas por las grandes empresas de Internet como Google, Facebook, Amazon, etc. ByteDance comenzó a utilizar las pruebas A/B al comienzo de su establecimiento en 2012. Ha habido un dicho en la empresa. : todo puede ser prueba A/B. /B test.
Prueba A/B de Volcano Engine, deshazte de las conjeturas, usa experimentos científicos para medir los beneficios de la toma de decisiones para crear mejores productos y hacer que cada paso del negocio conduzca al crecimiento.
Experimentos A/B en escenarios de publicación de anuncios
Experimento A/B de publicidad Los experimentos se llevan a cabo en elementos publicitarios, como diferentes materiales, ofertas de presupuesto, segmentación masiva, páginas de destino, etc. en la publicidad, lo que ayuda a los anunciantes a comprender el impacto de los diferentes elementos en los resultados de entrega y luego a elegir mejores estrategias de entrega para mejorar. entrega Efecto.
En las décadas de 1960 y 1970, las pruebas A/B se convirtieron en la técnica de marketing favorita del padrino publicitario David Ogilvy. Ogilvy utiliza pruebas A/B para optimizar la redacción publicitaria, la creatividad, los métodos de marketing, etc. Los resultados obtenidos también lo ayudan a tomar muchas decisiones de marketing correctas.
Hasta ahora, con el desarrollo del marketing digital, el comportamiento en línea de los usuarios se ha digitalizado y las pruebas A/B se han implementado de manera más científica y precisa. Los elementos comprobables también son más ricos y diversos.
Un plan de publicidad incluye principalmente cuatro enlaces: material publicitario, segmentación de multitudes, oferta de presupuesto y página de destino. El experimento publicitario A/B de Volcano Engine cubre más de diez elementos publicitarios involucrados en estos cuatro enlaces.
Tomando como ejemplo el experimento del material A/B, la industria de los juegos presenta una distribución diversa de materiales en la publicidad. Los anunciantes suelen refinar los aspectos destacados de los juegos según las características de los diferentes tipos de juegos para lograr fines de marketing, y los factores que contribuyen a la conversión de los anuncios de juegos son más diversos que en otras industrias. Puede deberse a personajes hermosos, monturas geniales, habilidades novedosas, emocionantes batallas, e incluso posibles razones, es por la preferencia por la antigüedad.
Un estudio preliminar del experimento publicitario A/B: experimento de comparación dividida
El experimento de comparación dividida mejora el ROI del anunciante al realizar experimentos AB en diferentes creatividades/objetivos de audiencia/ofertas de presupuesto, para encontrar el plan con el efecto ideal y guiar al anunciante para realizar publicidad posterior.
El experimento de división y comparación de publicidad de Volcano Engine realiza las siguientes características, desde la creación rápida de grupos experimentales hasta la producción automática de informes de datos, lo que reduce en gran medida el umbral para que los optimizadores de publicidad usen experimentos A/B para publicidad científica basada en datos.
01- Crea rápidamente experimentos controlados
El experimento A/B de colocación de anuncios de Volcano Engine puede agregar rápidamente versiones experimentales al tiempo que garantiza la singularidad de las variables experimentales. Por ejemplo, los usuarios de un experimento publicitario multicreativo pueden crear un plan experimental solo modificando la creatividad, y otros elementos del plan, como la orientación del usuario, el espacio publicitario, etc., son todos coherentes con el plan de control.
02- Genera automáticamente informes de datos
-
Puede optar por centrarse en indicadores de más dimensiones, como tasa de activación, tasa de registro, ROI, LTV, tasa de retención, etc., y generar automáticamente informes de datos centrándose en los indicadores;
-
Puede comparar rápidamente los datos de todos los planes publicitarios del experimento para comprender rápidamente las diferencias en cada indicador;
-
informe de datos
Identifique los grupos ganadores estableciendo métricas básicas
Puede visualizar el nivel de confianza del indicador de interés
03-Precauciones para experimentos de comparación dividida
Cabe señalar que existen ciertas diferencias entre los experimentos A/B divididos de publicación de anuncios y las pruebas A/B estándar.
El primero es la distribución del tráfico. Las pruebas A/B estándar requieren una distribución uniforme del tráfico, pero los experimentos divididos de publicación de anuncios no pueden garantizar que el tráfico se distribuya de manera uniforme durante el transcurso del experimento.
El segundo está en la aleatoriedad (imparcialidad). La prueba A/B estándar consiste en tomar una pequeña parte del tráfico en línea y asignarla de forma completamente aleatoria a la estrategia original A y a la nueva estrategia B. En la actualidad, la interferencia entre los planes del experimento de comparación de publicidad dividida no se puede eliminar por completo. , y hay ciertas diferencias entre los diferentes planes competitivos.
Pero hay algunas formas de reducir el error experimental:
Una es aumentar la duración del experimento. Dado que habrá una gran brecha entre la multitud el lunes y el domingo, se recomienda realizar el experimento durante más de 7 días para tener suficientes muestras para garantizar la precisión del experimento.
El segundo es aumentar el alcance del paquete multitudinario Cuanto mayor sea el alcance del paquete multitudinario, mayor será la aleatoriedad del experimento. Según los resultados de los experimentos A/B de Facebook, cada experimento debe tener al menos entre 300 y 500 clics y más de 10 000 impresiones de anuncios.
El experimento científico de clasificación A/B: el experimento de métrica de sinergia
El experimento de medición de la eficiencia utiliza si el anuncio está expuesto como una variable, combinado con la capacidad de la publicidad multimedia, y utiliza la percepción de la multitud + la evaluación del valor del punto de contacto + el análisis de serialización de frecuencia de combinación de múltiples puntos de contacto para medir la mejora de la exposición publicitaria en el volumen de conversión. .
La sinergia es el valor incremental generado (es decir, mejora). La medición de la eficiencia es una medida del valor incremental generado por el evento de "ver" un anuncio al controlar si los usuarios "tienen la oportunidad" de ver un anuncio a través de capacidades científicas de desviación A/B.
En términos sencillos, la "métrica de eficiencia" divide a la población en "anuncios vistos" y "anuncios que podrían haber visto" por adelantado, y luego compara las diferencias de conversión, diferencias de comportamiento o diferencias de usuarios entre los dos grupos de personas dentro de un período de tiempo. tras la colocación del anuncio, diferencias cognitivas, etc., para cuantificar el efecto de la publicidad.
01-¿Por qué necesita hacer una medición de sinergia?
En la actualidad, no existe un estándar general para medir la efectividad de la publicidad digital en el país y en el extranjero. Aunque no es posible cuantificar completamente el efecto de la publicidad a través de experimentos, la "medición de la eficiencia" es actualmente una de las soluciones de medición que son casi las más cercanas al efecto real de la publicidad. Efficiency Metrics cuantifica objetivamente el "valor" de la publicidad en línea para los anunciantes, incluidos, entre otros, los cambios en la "publicidad" para la conversión final, el comportamiento del usuario y la percepción del usuario.
-
Ayudar a los anunciantes a aclarar el valor publicitario de los diferentes canales/medios (ayudar a los anunciantes a realizar la atribución correcta) y aclarar el retorno de la inversión de la publicidad.
-
Ayuda a los anunciantes a demostrar la precisión de los métodos de atribución para atribuir correctamente las conversiones de anuncios.
-
Ayudar a los anunciantes a continuar optimizando las estrategias de publicidad y marketing, y ajustar racionalmente la asignación de presupuestos publicitarios a diferentes canales/medios.
02-Proceso central del experimento de medición de eficiencia
La plataforma de experimentos Volcano Engine A/B proporciona experimentos de medición de eficiencia integrales, combinados con ideas de eficiencia publicitaria, para crear desvíos de experimentos científicos, configuración experimental e informes de medición científica, promoviendo de manera efectiva el valor de evaluación científica de la publicidad de marca.
Los anunciantes pueden cargar multitudes de DMP en la plataforma experimental Volcano Engine A/B, configurar experimentos de medición y realizar entregas entre canales. La plataforma experimental A/B brinda servicios de entrega y monitoreo, y también puede configurar servicios de entrega y monitoreo para los clientes. Después un cierto período de tiempo, se completará la atribución de los datos de seguimiento y la devolución de los datos de conversión, y la plataforma generará uniformemente un informe experimental sobre la medición de la eficiencia.
03-Experimento de métricas de configuración
Configure el experimento de medición en la plataforma de experimentos Volcano Engine A/B, seleccione el plan de multitud y plataforma de lanzamiento e inicie el experimento
04-Entrega multicanal entra en vigor
Configure cuentas de entrega multiplataforma en la plataforma experimental Volcano Engine A/B, autorice planes de entrega e interfaces DMP
05-Informe de experimento de métrica de eficiencia
El experimento Volcano Engine A/B calcula la cantidad de conversiones de diferentes grupos de personas en el experimento, calcula la conversión incremental de grupos para publicidad en diferentes plataformas y genera un informe de experimento de medición.
Publicidad de marca basada en datos: un experimento en la medición de sinergia de marca
El experimento de medición de la eficiencia de la marca mide si el anuncio está expuesto o si se exponen diferentes anuncios, combinado con la capacidad de encuesta de cuestionario multicanal, y compara el efecto de diferentes grupos de personas para medir el efecto del anuncio.
01-¿Por qué necesita hacer una medición de sinergia de marca?
La evaluación cuantitativa de la efectividad de la publicidad de marca ha desconcertado a la industria durante muchos años. La dificultad es que la publicidad de marca puede aumentar las ventas, pero en la actualidad es difícil evaluar con precisión y eficacia el efecto de promoción de una determinada publicidad de marca en el crecimiento de las ventas, y solo puede mantenerse en el nivel de alcance.
El impacto de la publicidad de marca en los consumidores es sutil y silencioso, y el proceso de influir en los consumidores puede llevar varios meses o incluso un año; y el efecto de la publicidad de marca en la mente de los consumidores suele ser invisible y difícil de medir; además, el aumento en las ventas Puede ser el resultado del papel de la publicidad de marca y la publicidad de rendimiento. Es difícil medir la contribución de la publicidad de marca; la superposición de muchos elementos difíciles ha llevado a la industria a no encontrar una relación de conversión precisa entre la promoción de marca y las ventas. .
La medición de la eficiencia de la marca produce el juicio subjetivo del poder de la marca en forma de datos. A través de la comparación de las diferencias cognitivas de los usuarios entre dos grupos de usuarios similares en el comportamiento de exposición a la publicidad, puede ayudar mejor a los anunciantes a comprender el efecto de la publicidad, mejorando así la eficiencia de Los medios de comunicación Elevación proporciona dirección. Además, las métricas de sinergia pueden ayudar a los anunciantes a medir mejor el verdadero valor de un anuncio. El uso del valor real de un anuncio como medida también genera mejores perspectivas para el usuario.
02-Proceso central del experimento de medición de la eficiencia de la marca:
-
Crear un experimento de tipo BLS
-
Importe paquetes de multitud y enlace campañas publicitarias
-
Comience a publicitar y recicle los datos publicitarios de forma sincrónica
-
De acuerdo con la recuperación de la multitud publicitaria, comience la entrega del cuestionario.
-
Recuperar los datos del cuestionario y resumir las conclusiones de este experimento
03-Triage público científico A/B
El método de cálculo anterior de desvío de multitudes consistía en encontrar multitudes similares a los grupos de control a través de etiquetas de retrato básicas sobre la base de la selección de grupos de exposición. Este método de selección tendrá dos desafíos para los anunciantes: uno es encontrar el grupo de control. La consistencia entre la exposición el grupo de exposición y el grupo de exposición no se pueden garantizar. En segundo lugar, para garantizar la consistencia del grupo de exposición y el grupo de control, los anunciantes deben dedicar mucho tiempo y mano de obra en este proceso para realizar la verificación de selección del círculo.
La plataforma experimental AB de Volcano Engine determina el método de distribución aleatoria de la multitud antes de que se coloque el anuncio, y distribuye aleatoriamente la multitud en el grupo de exposición y el grupo de control a través de la coincidencia de algoritmos, y bloquea los anuncios en el grupo de control.Y la conclusión Los datos son más reales.
04-Entrega de cuestionarios multicanal
A diferencia de los experimentos ordinarios de medición de eficiencia, el efecto de la publicidad de marca no se puede rastrear directamente al monitorear el efecto de conversión (la conversión puede estar fuera de línea). Por lo tanto, al medir el efecto de marca, es necesario introducir la capacidad de la encuesta de cuestionario para calcular el efecto de elevación de la publicidad de la marca. La plataforma experimental Volcano Engine AB proporciona las siguientes capacidades:
-
En el experimento de medición de la eficiencia de la marca, la plataforma experimental Volcano Engine A/B completó el trabajo de desvío de multitudes y colocación de anuncios.
-
En la encuesta de cuestionario, se conectarán una variedad de herramientas y productos de cuestionario para realizar la entrega del cuestionario y la recuperación del cuestionario.
-
A través de plantillas de cuestionarios estandarizados, los datos recopilados del cuestionario se agregan y calculan, y se produce un informe de información de datos.
Ejemplo de cuestionario:
05-Informe de experimento de métrica de eficiencia
¿Por qué elegir Volcano Engine Ads para experimentos A/B?
Ahora que las empresas chinas están acelerando su evolución hacia la digitalización y la inteligencia, hay mucho espacio para la demanda en el mercado de herramientas. Volcano Engine internaliza los conceptos de crecimiento y las ventajas técnicas que respaldan el desarrollo comercial diversificado de las empresas globales de Internet en productos, desde el desarrollo, la aplicación hasta la operación, para satisfacer las necesidades de crecimiento comercial de diferentes tipos de empresas en diferentes etapas de la vida, más consideradas, más inteligentes y más flexible
En los últimos años, muchas empresas se han interesado en la tecnología y las herramientas de ByteDance. En 2017, algunos fabricantes de teléfonos móviles esperaban utilizar el algoritmo de recomendación de Toutiao. La cooperación entre las dos partes ha logrado buenos resultados. ByteDance tiene un gran crecimiento digital. práctica.
La prueba A/B de Volcano Engine, nacida de las herramientas internas de Byte, no solo integra la experiencia experimental en los ricos escenarios comerciales de Byte, sino que también se basa en el mercado ToB, mantiene la neutralidad tecnológica y se enfoca en crear valor para los anunciantes.
Productos relacionados
Pruebas A/B, eliminando las conjeturas, midiendo los beneficios de la toma de decisiones con experimentos científicos, creando mejores productos y haciendo que cada paso del negocio conduzca al crecimiento.
Bienvenido a prestar atención a la cuenta pública del mismo nombre de la plataforma de datos ByteDance para obtener productos secos más técnicos