Reproducido Fuente: https://mp.weixin.qq.com/s/PQqPghR2-5GsL8px9Y9WDg
prefacio
La importancia de AB prueba Ni que decir tiene, datos, productos y otros empleados es casi seguro que saber, buen científico de datos Creo que debe ser más importante que saber para entender el modelo de negocio, y se acompaña de herramienta de prueba AB para el crecimiento empresarial.
Si la prueba AB corazón casi no utilizó el teorema del límite central, pruebas de hipótesis, la distribución z, t distribución del conocimiento, recomendamos leer este artículo.
En este artículo de contenido :
¿Qué es A / B es la prueba
Trabajos de una prueba A / B
¿Qué propósito A / B es la prueba
Un proceso de prueba A / B (como la entrevista para preguntar)
Un ejemplo de ensayo perfil / B (implementado en conjunción con Python)
Un punto de prueba / B a la nota
Una prueba A / B a tener en cuenta los conocimientos estadísticos
1, lo que es A / prueba B es
Una prueba / B (también conocido como pruebas de división o prueba de cubo ) ambas versiones de una página web o aplicación comparan entre sí para un mejor rendimiento que se determina la versión del procedimiento. AB esencialmente en un experimento de prueba, dos o más variantes en las que Página aleatoria muestra al usuario, el análisis estadístico para determinar qué variante de conversión para una diana dada (tal como indicadores CTR) mejor.
2, funciona la prueba A / B
En la prueba A / B, se puede establecer el acceso de una página web o pantalla de la aplicación y modificarlo para crear una segunda versión de la misma página. Este cambio puede ser tan simple como un botón o sólo un título, puede ser un completo rediseño de la página. Entonces, la mitad de la versión de pantalla de flujo original (llamados controles) página, y la otra pantalla medio de una versión modificada de la página (denominada variantes).
Cuando el usuario accede a la página, como se muestra arriba botón gris (control) y los botones de flecha de color rojo (variante) utilizando usuario Buried puede hacer clic recogida de datos de comportamiento, y se analizaron por motor estadístico (para A / prueba B). A continuación, puede determinar este cambio (variante) tiene un efecto positivo para un índice dado (esto es un usuario de click-through rate, CTR), negativo o ningún efecto.
Los resultados de los datos experimentales podría tener este aspecto:
3, para qué propósito A / prueba B es
Una prueba A / B permite a individuos, equipos y empresas por los resultados de los datos de comportamiento del usuario cambia constantemente de la experiencia del usuario con cuidado. Esto les permite a los supuestos de construcción y una mejor comprensión de por qué la modificación de algunos elementos afectan el comportamiento del usuario. Estos supuestos pueden llegar a ser malo, que utilizan A / B en la mejor experiencia de un determinado objetivo o individuos equipos probar ideas demuestran que el usuario no va a trabajar, por supuesto, también puede llegar a ser correcta.
Por lo que la prueba A / B solo una vez para resolver las diferencias de contraste, la prueba A / B puede seguir utilizando, con el fin de mejorar la experiencia del usuario y mejorar ciertos objetivos, como los porcentajes de conversión.
Por ejemplo, las empresas de tecnología B2B pueden querer mejorar su calidad y cantidad de oportunidades de ventas de la página activa de aterrizaje. Para lograr este objetivo, el equipo intentará realizar pruebas A / B cambios en el diseño general del título, imágenes visuales, campos de formulario y llamadas a páginas de acción.
Una vez que una prueba para determinar el impacto que el cambio ayudará a producir lo que cambia el comportamiento de los visitantes, lo que los cambios no afectan el comportamiento de los visitantes. Con el tiempo, se pueden combinar en múltiples experimentos para demostrar el efecto positivo de cambios para mejorar la variante con respecto a la medible control.
Tal producto para los desarrolladores y diseñadores pueden utilizar las pruebas A / B para demostrar las nuevas características de la experiencia del usuario al impacto de los cambios. Siempre y cuando no son objetivos claramente definidos y supuestos explícitos, la implicación del usuario, la experiencia del producto y por lo que puede ser optimizado mediante pruebas A / B.
4, A / B procedimiento de prueba
① determinar la meta : el objetivo es determinar si la variante es más éxito que la versión original del índice. Haga clic en el botón puede ser porcentaje de clics, vinculada a la compra de productos de las tasas de apertura, tasa de registro de sesión de correo electrónico y así sucesivamente.
② crear variantes : hacer los cambios necesarios en el sitio de la versión original del elemento. El cambio puede ser el color de un botón, cambiar el orden de los elementos de la página, el contenido oculto o elementos de navegación totalmente personalizables.
③ generar hipótesis : Una vez que el destino, puede comenzar a generar A / ideas y supuestos de prueba B a análisis estadístico si van a ser mejor que la versión actual.
④ Recopilar datos : los datos recogidos para el supuesto de la región designada correspondiente al análisis de la prueba A / B.
⑤ prueba de funcionamiento : En este punto, los visitantes al sitio o aplicación será asignado al azar a un control o variantes. Medición, cálculo y comparación de su interacción con cada experiencia, para determinar el rendimiento de cada experiencia de usuario.
⑥ análisis : Después de la terminación del experimento, los resultados pueden ser analizados. Un análisis de la prueba / B mostrará si hay una diferencia estadísticamente significativa entre las dos versiones.
Independientemente de los resultados, tenemos que utilizar los resultados de la prueba como una experiencia de aprendizaje para generar nuevas hipótesis se puede probar en el futuro, y seguimos elementos de la aplicación de optimización iterativa o experiencia del usuario del sitio.
5, ejemplo de prueba A / B simplificado (en conjunción con la implementación de Python)
Descripción del ejemplo de antecedente :
División de un " adivinar que desea ver las estrategias de" Acceso al servicio de un nuevo algoritmo de recomendación, se recomienda el nuevo algoritmo desarrollado, antes de que el flujo de la línea completa para evaluar los méritos de la cantidad recomendada de nuevas estrategias, los métodos de evaluación utilizados son A / ensayo B, específica método de muestreo está en la cantidad de flujo completo de las dos pequeñas, nuevas recomendaciones se habían ido y la rama política de edad recomienda la rama política, mediante la comparación de estos dos indicadores en el tráfico (en la que los usuarios hacen clic en una medida por) las diferencias, ventajas de la nueva estrategia se puede evaluar malo y, a continuación, decidir si la nueva estrategia para todo el flujo completo.
Ejemplos de pasos de prueba A / B :
Indicadores : CTR
Variantes : nuevas estrategias de recomendación
Hipótesis : nuevas estrategias de recomendación pueden traer más usuarios a hacer clic.
La recogida de datos : Los siguientes datos del grupo B que quieren verificar el resultado de una nueva política de datos, un conjunto de datos de la vieja política resultante de datos. Fue forjada datos.
Los resultados (Phyton) :
El uso de pitón en scipy.stats.ttest_ind hacer la prueba t bilateral en dos conjuntos de datos, el resultado es relativamente simple. Pero hacer más o menos de la unilaterales detectar cuando la necesidad de hacer algún tipo de procesamiento, con el fin de obtener el resultado correcto.
from scipy import statsimport numpy as npimport numpy as npimport seaborn as sns
A = np.array([ 1, 4, 2, 3, 5, 5, 5, 7, 8, 9,10,18])B = np.array([ 1, 2, 5, 6, 8, 10, 13, 14, 17, 20,13,8])
print('策略A的均值是：',np.mean(A))print('策略B的均值是：',np.mean(B))Output:策略A的均值是：6.416666666666667策略B的均值是：9.75
Obviamente, B es mayor que la media aritmética de la estrategia de política A, B, pero puede ser capaz de explicar la política para llevarlo más la transformación del negocio? O simplemente porque algunos factores aleatorios.
Queremos demostrar que la nueva estrategia de desarrollo B es mejor, lo que puede establecer la hipótesis nula y la hipótesis alternativa son:
H0: A> B =
H1: A <B
scipy.stats.ttest_ind (x, y) es la x.mean de autenticación predeterminado () - y.mean () esta suposición. Con el fin de obtener resultados positivos, calculado como sigue:
stats.ttest_ind(B,A,equal_var= False)output:Ttest_indResult(statistic=1.556783470104261, pvalue=0.13462981561745652)
Según scipy.stats.ttest_ind (x, y) interpretación del documento, que es el resultado de una prueba bilateral. A fin de obtener resultados de la prueba necesidades unilaterales que calcularse además pvalue los resultados fueron de 2 caras (donde el valor de umbral de 0,05).
pvalue Decidido = ,13462981561745652, p / 2> alfa (0.05), no es capaz de rechazar la hipótesis, de que la política no puede ser temporalmente traer más clics usuario B.
6, puntos de prueba A / B Nota requerido
1, a priori: precio bajo experimental, bajo flujo, extendida al usuario en flujo completo.
2, el paralelismo: diferentes versiones, programa diferente en el momento de la verificación, que se encargan de todas las demás condiciones constantes.
3, los datos científicos de derivación y la ciencia: Ciencia refiere a los datos de derivación AB dos grupos asignados para ser coherente, los datos científicos no se refieren directamente a la velocidad de conversión media, la media de porcentaje de clics a las decisiones de las pruebas AB, pero a través de la confianza intervalos, pruebas de hipótesis, el grado de convergencia para llegar a una conclusión.
7, A / B pruebas a tener en cuenta los conocimientos estadísticos
Justo por encima artículo describe algunos de los contenidos de la prueba AB desde el punto de aplicación de vista, cuando después de la recogida de datos de buena a hacer el análisis estadístico para inferir que es posible que tenga que tener los siguientes conocimientos, el espacio limitado aquí no describe, libros de revisión para leer en sus propias estadísticas, consulte la sección "Estadísticas estudiar "Guyue ping, de la Academia Khan estadísticas y otros libros y videos.
1, las estimaciones puntuales
2, la estimación del intervalo
3, el teorema del límite central (estimaciones de la muestra del núcleo en general, se puede comparar un vistazo a la ley de los grandes números)
4, la prueba de hipótesis
Que es parte de la prueba de hipótesis central, otra mejor comprensión auxiliar de la parte, como la estimación del intervalo se puede interpretar como la estadística inferencial positivos, prueba de hipótesis se puede entender como evidencia en contrario de la estadística inferencial, pruebas de hipótesis por su cuenta, puede que también necesite saber poco evento de probabilidad, la distribución t, distribución z, la distribución de chi-cuadrado, el valor de p, alfa error, error belta y así sucesivamente.
resumen :
En este directorio de artículos antes de referencia de 4 partes en la traducción:
https://www.optimizely.com/optimization-glossary/ab-testing/
Parte de la cual ha sido modificada, que en las etapas del proceso de pruebas AB hecho cambios fundamentales, catálogo de tres partes para el aprendizaje personal después de los ingresos pensamiento, queremos ayuda.
