Reproduzido Fonte: https://mp.weixin.qq.com/s/PQqPghR2-5GsL8px9Y9WDg
prefácio
A importância da AB teste Escusado será dizer que, dados, produtos e outros empregados quase certamente sabe, bom cientista dados que eu acho que deve ser mais importante do que saber para entender o modelo de negócio, e é acompanhada por uma ferramenta de teste AB para o crescimento empresarial.
Se o seu coração teste AB quase não usar o teorema do limite central, teste de hipóteses, distribuição z, distribuição t de conhecimento, recomendamos ler este artigo.
Este artigo de Conteúdo :
O que é A / B teste é
A obras teste A / B
O propósito A / B teste é
Um processo de teste A / B (como a entrevista para pedir)
Um exemplo de teste perfil / B (implementada em conjunto com o Python)
Um ponto de teste / B a nota
Um teste A / B estar ciente de conhecimento estatístico
1, o que é A / B teste é
Um teste / B (também conhecido como teste de separação ou teste do balde ) ambas as versões de uma página da web ou de aplicação em comparação com o outro para um melhor desempenho que a versão do método é determinada. AB essencialmente em uma experiência de ensaio, duas ou mais variantes em que aleatório página apresentada ao utilizador, a análise estatística para determinar qual variante de conversão para um determinado alvo (tais como indicadores CTR) melhores.
2, funciona o teste A / B
No teste A / B, você pode definir o acesso de uma página web ou tela do aplicativo e modificá-lo para criar uma segunda versão da mesma página. Esta mudança pode ser tão simples como um botão ou um único título, pode ser uma reformulação completa da página. Então, metade da versão exibição fluxo original (chamados controles) página, e outra exibição metade uma versão modificada da página (chamada variantes).
Quando o utilizador acede a página, conforme mostrado acima botão cinzento (controlo) e os botões de seta vermelhos (variantes) utilizando utilizador pode clicar enterrado comportamento de recolha de dados, e analisados pelo mecanismo estatístico (para A / teste B). Em seguida, você pode determinar essa mudança (variante) tem um efeito positivo para um determinado índice (este é um usuário clique-através da taxa de CTR), negativo ou nenhum efeito.
Os resultados dos dados experimentais pode ter esta aparência:
3, para que finalidade A / B teste é
Um teste A / B permite que indivíduos, equipes e empresas pelos resultados dos dados de comportamento do usuário muda constantemente a sua experiência do usuário com cuidado. Isto permite-lhes hipóteses de construção e uma melhor compreensão de por que a modificação de certos elementos afetam o comportamento do usuário. Estes pressupostos podem revelar-se errada, que eles usam A / B na melhor experiência de um específico indivíduos alvo ou equipes idéias de teste provar o usuário não está indo para o trabalho, é claro, também pode revelar-se correta.
Assim, o teste A / B apenas uma vez para contraste diferenças a resolver, teste A / B pode continuar a usar, a fim de melhorar a experiência do usuário e melhorar determinadas metas, tais como taxas de conversão ao longo do tempo.
Por exemplo, empresas de tecnologia B2B pode querer melhorar a sua qualidade e quantidade de leads de vendas da página de destino ativo. Para atingir este objetivo, a equipe vai tentar fazer A / B mudanças testes para o layout geral do título, imagens visuais, campos de formulário e chamadas para páginas de acções.
Uma vez que um teste para determinar o impacto que a mudança vai ajudá-los a produzir o que muda o comportamento dos visitantes, que mudanças não afetam o comportamento dos visitantes. Ao longo do tempo, eles podem ser combinados em várias experiências para demonstrar o efeito positivo de modificações para melhorar a variante em relação ao controlo mensurável.
Tal produto para desenvolvedores e designers podem usar os testes A / B para demonstrar as novas funcionalidades da experiência do usuário o impacto das mudanças. Enquanto existem objetivos claramente definidos e suposições explícitas, o envolvimento do usuário, experiência do produto e assim pode ser otimizada por meio de testes A / B.
4, o procedimento de teste A / B
① determinar o objetivo : o objetivo é determinar se a variante é mais bem sucedida do que a versão original do índice. Clique no botão pode ser click-through rate, vinculada à compra de produtos taxas de abertura, taxa de inscrição sinal de e-mail e assim por diante.
② criar variantes : fazer as mudanças necessárias no site da versão original do elemento. A mudança pode ser a cor de um botão, mudar a ordem dos elementos na página, o conteúdo escondido ou elementos de navegação totalmente personalizável.
③ gerar hipóteses : Uma vez que o alvo, você pode começar a gerar A / idéias de teste B e premissas para análise estatística se eles vão ser melhor do que a versão atual.
④ coleta de dados : dados recolhidos para assumir a região designada correspondente a análise do teste A / B.
⑤ teste de corrida : Neste ponto, os visitantes do site ou aplicativo serão distribuídos aleatoriamente a um controle ou variantes. Medição, cálculo e comparação de sua interação com cada experiência, para determinar o desempenho de cada experiência do usuário.
⑥ análise : Após a conclusão da experiência, os resultados podem ser analisados. Uma análise do teste / B mostrará se existe uma diferença estatisticamente significativa entre as duas versões.
Independentemente dos resultados, precisamos usar os resultados do teste como uma experiência de aprendizagem para gerar novas hipóteses podem ser testadas no futuro, e continuar elementos de aplicação de otimização iterativo ou experiência do usuário do site.
5, exemplo de teste A / B simplificado (em conjugação com a aplicação Python)
Descrição do Exemplo de Base :
Divisão de uma " acho que você quer assistir estratégias" de acesso ao serviço de um novo algoritmo de recomendação, o novo algoritmo é recomendada desenvolvido, antes da linha de fluxo total para avaliar os méritos do recomendado novas estratégias, métodos de avaliação utilizados são A / teste B, específico abordagem de amostragem é no valor de fluxo completo das duas pequenas, novas recomendações foram embora e o velho ramo política recomendada ramo política, comparando esses dois indicadores no trânsito (onde os usuários clicam em uma medida por) as diferenças, vantagens da nova estratégia pode avaliar ruim, e então decidir se a nova estratégia para todo o fluxo total.
Exemplos de passos de teste A / B :
Indicadores : CTR
Variantes : novas estratégias de recomendação
Hipótese : novas estratégias de recomendação pode trazer mais usuários a clicar.
A coleta de dados : Os seguintes dados grupo B queremos verificar o resultado de uma nova dados de política, um conjunto de dados para a velha política resultante de dados. Ele foi forjado dados.
Os resultados (Python) :
Use python em scipy.stats.ttest_ind fazer teste bilateral t em dois conjuntos de dados, o resultado é relativamente simples. Mas fazer mais ou menos do que a unilateral detectar quando a necessidade de fazer algum processamento, a fim de obter o resultado correto.
from scipy import statsimport numpy as npimport numpy as npimport seaborn as sns
A = np.array([ 1, 4, 2, 3, 5, 5, 5, 7, 8, 9,10,18])B = np.array([ 1, 2, 5, 6, 8, 10, 13, 14, 17, 20,13,8])
print('策略A的均值是：',np.mean(A))print('策略B的均值是：',np.mean(B))Output:策略A的均值是：6.416666666666667策略B的均值是：9.75
Obviamente, B é maior do que a média da estratégia de política A, mas B pode ser capaz de explicar a política para trazê-lo mais a transformação do negócio? Ou simplesmente porque alguns fatores aleatórios.
Queremos provar que a nova estratégia de desenvolvimento B é melhor, assim você pode configurar a hipótese nula e hipótese alternativa são:
H0: A> = B
H1: A <B
scipy.stats.ttest_ind (x, y) é a x.mean autenticação padrão () - y.mean () esta suposição. A fim de obter resultados positivos, calculada como se segue:
stats.ttest_ind(B,A,equal_var= False)output:Ttest_indResult(statistic=1.556783470104261, pvalue=0.13462981561745652)
De acordo scipy.stats.ttest_ind (x, y) interpretação do documento, que é o resultado de um teste bilateral. A fim de obter resultados de teste necessidades unilaterais a ser calculado em adição pvalue os resultados foram duas faces (onde o valor de limiar de 0,05).
Determinado valor p = ,13462981561745652, p / 2> alfa (0,05), não é capaz de rejeição da hipótese, que a política não pode ser temporariamente trazer mais utilizador clica B.
6, os pontos de teste A / B blocos necessário
1, a priori: preço baixo experimental, baixo fluxo, estendida para o utilizador no fluxo total.
2, o paralelismo: diferentes versões, programa diferente no momento da verificação, para cuidar de todas as outras condições consistentes.
3, os dados científicos shunt e da ciência: Ciência refere-se a dados shunt AB dois grupos designados para ser consistente, os dados científicos não está se referir diretamente para a taxa de conversão média, o click-through taxa média para as decisões de teste AB, mas através de confiança intervalos, teste de hipóteses, o grau de convergência para chegar a uma conclusão.
7, A / B ao teste estar ciente do conhecimento estatística
Logo acima artigo descreve alguns dos conteúdos de teste AB do ponto de vista da aplicação, quando, após a coleta de dados bons para fazer a análise estatística para inferir que você pode precisar de ter o seguinte conhecimento, espaço limitado aqui não descreve, revisão livros para ler em suas próprias estatísticas, consulte o "Estatísticas estudar "Guyue Ping, Khan Academy estatísticas e outros livros e vídeos.
1, as estimativas pontuais
2, estimativa de intervalo
3, o teorema do limite central (estimativas de amostras do núcleo geral, você pode comparar um olhar para a lei dos grandes números)
4, o teste de hipótese
Que faz parte do teste de hipóteses core, outro melhor compreensão auxiliar da peça, tais como estimativa de intervalo pode ser interpretado como estatística inferencial positivos, o teste de hipóteses pode ser entendida como prova em contrário da estatística inferencial, teste de hipóteses por conta própria, você também pode precisar de saber pouco evento de probabilidade, a distribuição t, distribuição z, distribuição do qui-quadrado, o valor de p, alfa erro, o erro belta e assim por diante.
resumo :
Neste artigo diretório antes de referência 4 parte na tradução:
https://www.optimizely.com/optimization-glossary/ab-testing/
Parte do que foi modificado, o qual em AB etapas do processo de teste feitas alterações fundamentais, catálogo de três partes para o aprendizado pessoal após o lucro pensamento, queremos ajuda.
