Dans les tests de performance, il existe un type de test appelé benchmarking . Dans cet article, parlons de certaines choses sur l'analyse comparative.
1. Définition
En concevant une méthode de test raisonnable, en sélectionnant un outil de test approprié et le système testé, un test quantitatif et comparable d'un certain indice de performance d'une scène cible spécifique peut être réalisé.
2. Caractéristiques
①. Répétabilité : des tests reproductibles peuvent être effectués, ce qui est propice à la comparaison de chaque résultat de test et à l'obtention de la tendance de changement à long terme des résultats de performance, qui peut être utilisée comme référence pour l'optimisation du système et la planification de la capacité avant la mise en ligne.
PS : Cette idiosyncrasie est pour les besoins quotidiens d'interrogation des benchmarks.
② Observabilité : grâce à une surveillance complète (y compris du début à la fin du test, de la machine d'exécution, du serveur, de la base de données ), comprenez et analysez ce qui s'est passé dans le processus de test en temps opportun.
③.Affichage : le personnel concerné peut comprendre les résultats des tests de manière intuitive et claire ( interface Web , tableau de bord, arborescence de graphiques linéaires, etc.).
④. Authenticité : Les résultats des tests reflètent la situation réelle vécue par les clients (scénarios commerciaux réels et précis + configurations cohérentes avec la production + méthodes de test raisonnables et correctes).
⑤. Exécutabilité : le personnel concerné peut rapidement tester, vérifier, modifier et optimiser (positionnable et analysable).
3. Conditions préalables
L'analyse comparative doit être effectuée dans des conditions contrôlées.
Face à des systèmes de plus en plus complexes, à un nombre croissant d'utilisateurs et à de multiples systèmes d'entreprise pouvant être impliqués dans les tests de performance, ce n'est que lorsque les scénarios commerciaux, l'architecture système et les environnements de test impliqués dans les tests de performances sont sous contrôle que nous pouvons obtenir des résultats relativement précis fournir une référence et une base pour la planification des capacités, la localisation des défauts et le réglage du système.
4. Signification
①. Déterminer les limites du système et des applications pour la planification des capacités ;
②. Fournir une base de référence pour les paramètres et les options de configuration du test de configuration ;
③. Déterminez si le système a les capacités qu'il revendique pour les tests d'acceptation ;
④. Fournir des sources de données statistiques à long terme et des repères de comparaison pour l'établissement de références de performance.
5. Prémisse
①. Objectif du test : clarifier l'objectif du test, quel est le test ? Quelles méthodes et stratégies de test sont utilisées ?
②, Environnement de test : Quel est l'environnement du système testé, SIT ou UAT ou PAT ?
③.Limites du test : Quels sont les facteurs limitants pour effectuer le test et comment les résoudre ?
④.Facteurs de risque : Quels risques peuvent exister dans le test, et quelles sont les solutions ?
⑤. Analyse des résultats : comment analyser les résultats des tests ? Comment analyser et localiser les données générées par le test ?
6. Principes
①. Stratégie de test : charge de travail stable et continue, exécutée plusieurs fois, examinez la tendance de distribution normale des données de résultat de test et essayez de prendre la moyenne ;
②.Statistiques des données : la valeur moyenne et la valeur maximale des données de test dans l'environnement réel, et la dimension de la valeur ;
③ Risques différentiels : préciser quels risques existent et si l'impact des risques sur les résultats des tests est ignoré ;
④.Circonstances particulières : quelles sont les circonstances particulières et s'il existe des solutions correspondantes (telles que des appels de service de paiement dans des scénarios de paiement, s'il faut utiliser des déflecteurs, etc.).
7. Facteurs à considérer
Ratio de transactions : dans certains scénarios d'entreprise, un processus contient plusieurs transactions et, dans la simultanéité simulée, les proportions respectives des différentes transactions ;
Opérations de lecture et d'écriture soudaines : dans certains scénarios commerciaux particuliers, il y aura un impact important sur le trafic à court terme ou une baisse soudaine du nombre de requêtes, comment simuler (test de surtension) ;
Configuration du système : la configuration du système des différents environnements est différente, comment convertir et comparer les résultats des tests ?
Durée du test : lors de l'exécution du test, durée d'exécution, temps alloué aux différentes transactions, etc. ;
Type d'affichage du résultat : comment afficher la valeur moyenne, la valeur maximale et la valeur en pourcentage, et comment les comparer ?
Taux de réussite/échec : statistiques sur le ratio de transactions réussies et échouées lors de chaque test ;
Est-ce reproductible : Si une erreur ou une situation anormale se produit pendant le test, peut-elle être reproduite ?
Est-ce comparable : existe-t-il d'autres outils de test ou résultats de test à comparer (essayez d'effectuer le test autant de fois que possible pour comparer les résultats du test : en savoir plus sur l'écart type et la distribution normale ?)
8. Méthode simple et réalisable
L'augmentation progressive de la charge sur le système est un moyen simple de déterminer le débit maximal qu'un système peut gérer et une stratégie viable pour trouver des limites aux performances du système (test de résistance par étapes).
9. Concentrez-vous
L'analyse comparative se concentre sur l'analyse statistique : les statistiques peuvent être réalisées à partir des dimensions suivantes :
①. Sélectionner les outils de test appropriés, définir des méthodes de test raisonnables et des indicateurs de performance du système qui doivent être confirmés ;
②. Choisissez différents outils de test, comparez les résultats des tests et choisissez un système stable et réfléchissant qui est vraiment le résultat de la performance ;
③. Exécuter des tests plusieurs fois et collecter un grand nombre d'ensembles de données de test et d'indicateurs ;
④. Interpréter et analyser les données de différentes dimensions et générer des rapports.
Pratique de test de performance avancée Jmeter
Tutoriel d'artefact de capture de paquets d'interface Fiddler