AbTest —— Modos de Aplicação em Diferentes Cenários

Depois de pensar por um longo tempo sobre como este capítulo deveria ser chamado, finalmente decidi por "Modos de Aplicativo em Diferentes Cenários". Apresente a forma funcional do AbTest em dois cenários diferentes e as razões para as diferentes formas.

Observação: para obter detalhes sobre o projeto e a implementação da arquitetura AbTest, consulte o artigo

• Sistema auxiliar de decisão do negócio publicitário - "Plataforma experimental AB"

• AB - Angelababy - Oh não, um artefato que recusa a decisão final do chefe! Uma plataforma experimental de tomada de decisão que fala com dados - AbTest!

• Infraestrutura experimental sobreposta: experimentação mais, melhor e mais rápida

AbTest aos olhos de diferentes pessoas

De acordo com as mudanças no modo AbTest em meus olhos em diferentes estágios, divido o estado de vida em três estágios.

• A primeira é o primeiro contato, a primeira vez que me deparei com o método AbTest, mas não tive contato real. Só sei que o AbTest usa "biologia, química..." para fazer experimentos para determinar a melhor estratégia ou plano. O conhecimento da implementação específica é fixado no artigo, que apresenta a estrutura ou pontos-chave do AbTest...
• A terceira é entrar em contato com o serviço AbTest na vida real.É realmente necessário implementar a função AbTest no ambiente de produção. Isso confirmou os dois elementos principais do AbTest, aleatoriedade + ortogonalidade, e três pontos de granularidade funcional, uv + pv + customização. Neste momento, a definição dos pontos de função e do modo de aplicação do serviço AbTest será formada grosseiramente na mente, e experimentos com diferentes granularidades funcionais serão realizados no tráfego do servidor;
• A terceira etapa é encontrar um AbTest rodando de forma diferente da conhecida aplicação AbTest em outro novo cenário. Ah, na verdade, o AbTest é diferente em diferentes cenários.

Claro, essa é uma percepção diferente da mesma coisa em um determinado comprimento, que varia de pessoa para pessoa, e as semelhanças são bem-vindas. Dois modos de aplicação são apresentados abaixo.

As diferentes funcionalidades do AbTest dependem fortemente

A correlação do usuário é fraca e o cenário clássico é Feed - a maioria dos formulários de organização departamental são negócios não verticais

Nesses cenários, o apelo do AbTest é que quanto mais fina a granularidade do tráfego, melhor. Convencionalmente, uv, pv.
Nos resultados naturais do feed, posso experimentar uid e pv. Por exemplo, alguns usuários em A exibem o estilo A ，B 部分用户做展示样式B; eles também podem exibir o estilo C para o tráfego C% atual ，D%的流量做样式 D. Desta forma, observando os dados de feedback do usuário, você pode confirmar as vantagens e desvantagens do estilo A/B; através de diferentes frequências de cliques/interações sob a mesma proporção de tráfego, você pode confirmar que o estilo C/D tem melhor receita efeitos.

Nesse modelo, o lado da demanda da AbTest costuma ser usado como um middle office ou um departamento de negócios paralelo, com uma perspectiva mais ampla e superior sobre os dados de produção e menos limitações profissionais de negócios.

Os usuários são altamente correlacionados e o cenário clássico é vertical/ferramenta APP; a maioria das organizações departamentais são empresas verticais

Em tais cenários, o apelo da AbTest é relativamente simples. Convencionalmente, uv.
No estado em que a classe mapa/viagem é fortemente dependente do login, os experimentos de granularidade uv respondem por 99,9% de todos os experimentos, e pv ou outra granularidade é extremamente complicado de fazer. Por exemplo, os usuários da parte A criam o estilo de exibição A ，B 部分用户做展示样式B... é o mesmo que a categoria Feed, mas não é tão amigável se você experimentar pv. Como é necessário garantir a ortogonalidade do experimento, é inevitável que o usuário A veja diferentes resultados experimentais a cada vez, o que facilmente causará problemas para o usuário ou relatará um bug. Claro que não é impossível, por exemplo, alguns cenários com correlação de usuário fraca ainda podem ser usados ​​como pv.

Nessa modalidade, o lado da demanda da AbTest costuma ser limitado pela verticalização do negócio, e a direção do departamento está relacionada aos usuários. Nesse estado, o modo de aplicação do AbTest é relativamente simples.

Lei de Kang Wei - A organização determina a forma do produto

Primeira Lei de Conway: O produto/design projetado por uma organização é equivalente à estrutura de comunicação da organização.

Lei de Conway: Organizações que projetam sistemas são obrigadas a
produzir designs que são cópias das estruturas de comunicação
dessas organizações.– Melvin Conway(1967)

Existem potenciais características heterogêneas e homomórficas entre o sistema linear e a estrutura organizacional linear. Heterogeneidade e homomorfismo referem-se ao fato de que, embora um sistema e uma organização sejam duas coisas, eles têm a mesma estrutura.

O problema dos diferentes modos de aplicação do AbTest também confirma esta lei. A diferença na estrutura organizacional determina a direção do departamento e, então, confirma a tendência das características do produto.

Construção de serviço sob diferentes modos de aplicação

Além das diferentes funções do AbTest mencionadas acima, mais profundamente, os métodos de implementação e construção das funções também são diferentes. Para ser preciso, não existem serviços idênticos ou idênticos em diferentes cenários. Vamos melhorá-lo aqui, correspondendo ao método de intervenção do módulo do cenário acima, espero que possa fornecer uma experiência relevante.

Bota e Traseira

• Para produtos/departamentos verticais com forte correlação de usuários, o AbTest pode ser colocado no estágio de inicialização.A inicialização geralmente possui carregamento dinâmico e lógica de contagem regressiva, que pode integrar mais serviços. Obviamente, quanto mais pesada a frente, mais leve o serviço na parte traseira.
• Para produtos/departamentos de Feed com fraca correlação de usuário, você pode considerar colocar o AbTest no serviço frontal ou traseiro, para que o funil formado tenha bipolaridade.

Claro, tal solução não é única nem abrangente. Por exemplo, o AbTest costuma ter mais problemas de transmissão de dados, seja ele organizado no cabeçalho ou no corpo, ou um protocolo específico... O melhor é que todos encontrem o mais adequado para a cena atual.

resumo

O AbTest é apenas um exemplo, se for outro módulo/serviço, ou algo assim, em diferentes cenários, é causal, apropriado e científico.