Recentemente contatou uma equipe. Ao verificar o APM, constatei que o tempo de resposta do serviço entregue pela equipe era muito longo, então fui até a plataforma de performance para encontrar os rastros da execução do teste de performance e constatei que não havia feito o teste de performance. por um longo tempo. Discuti esta questão com o líder de desenvolvimento da equipe e o líder de teste da equipe. Após uma discussão aprofundada, descobriu-se que as duas pessoas questionavam a necessidade de testes de desempenho. A razão é muito simples. APM pode encontrar problemas. Por que precisamos fazer o desempenho? Se o APM achar que está lento, apenas organize uma melhoria iterativa. Concentre-se no teste de desempenho.
histórico de desempenho
O teste é, na verdade, uma forma de garantir efetivamente a qualidade das mudanças de entrega, então tudo bem não garantir a qualidade da entrega? A resposta na verdade é sim, o que levará ao surgimento de custos de má qualidade. Para dar um exemplo não relacionado a TI, se um fabricante de ventiladores elétricos não fornecer garantia de qualidade, os ventiladores elétricos produzidos pela linha de montagem serão vendidos diretamente no mercado. Assumimos que a taxa de rendimento dos ventiladores elétricos produzidos na linha de montagem é de 90% e o custo de produção de um ventilador elétrico é de 50% do preço de venda. Desde a finalização da produção até a venda de um ventilador elétrico ao usuário, inclui uma série de processos como embalagem, transporte e comercialização, sendo que o custo total desse processo é de 50% do preço de um ventilador elétrico. Então, se o fabricante do ventilador elétrico produzir 100.000 ventiladores elétricos por mês, cada um com preço de 100 yuan, então, se não houver garantia de qualidade, o custo causado pela má qualidade neste mês é de 100.000 unidades * 90% * 100 yuan, o resultado é é a perda de 9 milhões de custos de má qualidade. Se nada for alterado, apenas adicionando um link de garantia de qualidade após a conclusão da produção da linha de montagem, pelo menos os produtos com problemas de qualidade podem ser impedidos de entrar no mercado, de modo que o custo da má qualidade foi reduzido em 4,5 milhões.
Então voltamos ao processo de mudança de sistema do nosso software, quanto mais cedo investirmos no processo de teste WIP, mais cedo poderemos encontrar problemas de qualidade e reduzir o custo da má qualidade. Nas atividades de teste funcional, acredito que todos possam entender, portanto, a taxa de fuga de defeitos é um indicador que quase todas as equipes devem medir agora. Por que algumas pessoas colocam a carroça na frente dos bois quando se trata de testes de desempenho?Quando a produção descobre que o serviço está correspondentemente lento, é a fuga de defeitos de desempenho e também a mudança de má qualidade entregue pela equipe de produto. Ou seja, o teste de desempenho vem primeiro, seguido pelo monitoramento do APM. Sem teste de desempenho, alguns defeitos de desempenho escapam. Embora o APM encontre o problema, é um método tardio, que também afeta o uso dos usuários, o que também causa baixa qualidade. custo.
Quando realizar testes de desempenho
Com o desenvolvimento da tecnologia atual, o DevOps inclui cada vez mais conteúdo. DevSecOps, DevPerfOps etc. O Dev{}Ops tornou-se um paradigma comum para cada função contar uma história. Portanto, não importa como seja chamado, desempenho é uma característica insuperável em qualquer processo de entrega de produto, e também é uma das oito principais características de qualidade de software.Teste de desempenho é um elo indispensável para garantir as características de desempenho, eficiência e qualidade dos produtos.
Há 10 anos, todo parceiro de teste de requisitos que tivesse um teste de desempenho pensaria que era uma tarefa grande, exigindo muitos dias e muito investimento para verificar e, consequentemente, tornava o teste de desempenho uma tarefa difícil. Naquela época, muitas empresas de grande porte tinham suas próprias equipes de teste de desempenho. A equipe de teste de desempenho tinha um status relativamente alto nesta e naquela equipe de teste e tinha uma voz muito importante, especialmente na equipe de entrega de sistemas bancários. Com a popularização contínua da conteinerização, a implantação do ambiente testado e das ferramentas de teste pode ser entregue em minutos. O teste de desempenho reduziu o limite e economizou muitos custos. É por isso que muitas empresas de Internet podem alcançar o teste de desempenho normal. a base da otimização é estabelecida, então o tempo do teste de desempenho é qualquer tempo, desde que haja demanda, ele pode ser executado, verificável, mensurável e otimizável.
No campo dos testes, a Internet está muito à frente de outras indústrias, portanto, estima-se que ainda haja um longo caminho a percorrer para implementar testes de desempenho normalizados em todas as equipes de teste. Como é impossível entrar na rodovia imediatamente, o momento do teste de desempenho ainda é um problema que precisa ser considerado em vários aspectos. Claro que também é feito sob demanda e não pode ser investido à vontade. Então, quando deve ser a hora de realizar o teste de desempenho? Em qualquer uma das seguintes situações, o teste de desempenho do processo de negócio correspondente deve ser realizado, a menos que o negócio não se concentre no desempenho:
- Existem padrões de acesso de negócios simultâneos e, pela primeira vez, entregues no sistema
- O tempo de resposta do teste de interface única excede 1 segundo
- Nenhuma avaliação de desempenho dos principais processos de negócios ou processos de negócios simultâneos do sistema por 3 meses
- O crescimento dos dados de negócios do sistema em teste excede a taxa de crescimento esperada em mais que o dobro em um mês
- Outras alterações que obviamente afetam o desempenho ou alterações nos dados subjacentes
Quando a situação acima ocorrer, devemos concluir imediatamente o teste de desempenho de acordo com a escala de dados esperada, escala de acesso e escala de simultaneidade e dar sugestões de otimização. Como fazer testes de desempenho https://blog.csdn.net/crisschan/article/details/114777321 tem conteúdo detalhado, então não vou repetir.
Resumir
"Registros históricos Heguanzi" registra que o rei Wen de Wei perguntou a Bian Que: "Qual dos três irmãos Zikun é o melhor médico?" Disse: "Você pode ouvir o mal?" Bian Que disse: "O irmão mais velho trata a doença como um deus, e o tira sem forma, então o nome não vem da família. O irmão do meio cura a doença, está no cabelo, então o nome não vem do pai. Se você é uma pega chata, você usará (chán) sangue, injetará veneno e danificará a pele, e você será famoso entre os príncipes.”
Portanto, o APM é depois do evento e o teste de desempenho é antes do evento. O teste de desempenho é "prevenção de doenças", caso contrário, o APM descobrirá que o problema também é a fuga de defeitos de desempenho e também causará custos de baixa qualidade.