パフォーマンス テストには、ベンチマークと呼ばれるタイプのテストがあります。この記事では、ベンチマークについていくつか説明します。
1. 定義
合理的なテスト方法を設計し、適切なテスト ツールとテスト対象システムを選択することにより、特定のターゲット シーンの特定のパフォーマンス指標の定量的かつ比較可能なテストを実現できます。
2. 特徴
①. 再現性: 再現可能なテストを実行できるため、各テスト結果を比較し、パフォーマンス結果の長期的な変化傾向を取得し、オンライン化前のシステムの最適化やキャパシティ プランニングの参考として使用できます。
PS: この特異性は、ベンチマークの毎日のポーリングのニーズに対応しています。
②可観測性：テストの開始から終了、実行マシン、サーバー、データベースを 含む全方位の監視を通じて、テストプロセスで何が起こったのかをタイムリーに把握し、分析します。
③. 表示性：関係者がテスト結果を直観的かつ明確に理解できる（Webインターフェース、ダッシュボード、折れ線グラフ樹形図など）。
④. 信頼性: テスト結果は、顧客が経験した実際の状況を反映しています (実際の正確なビジネス シナリオ + 運用環境と一致する構成 + 合理的で正しいテスト方法)。
⑤. 実行可能性：関係者が迅速にテスト、検証、修正、最適化（位置決め可能、分析可能）が可能。
3. 前提条件
ベンチマークは、制御された条件下で実行する必要があります。
システムがますます複雑になり、ユーザー数が増加し、パフォーマンス テストに関与する可能性のある複数のビジネス システムに直面して、ベンチマーク テストに関与するビジネス シナリオ、システム アーキテクチャ、およびテスト環境が制御されて初めて、比較的正確な結果を得ることができます。容量計画、欠陥位置、システム調整のための参照と基礎を提供します。
4. 意義
①. キャパシティプランニングのためのシステムとアプリケーションの制限を決定します。
②. 構成テストのパラメータと構成オプションの参照ベースを提供します。
③. システムが受け入れテストに必要な機能を備えているかどうかを判断します。
④. パフォーマンスのベースラインを確立するための長期データ統計ソースと比較ベンチマークを提供します。
5. 前提
①. テストの目的: テストの目的を明確にし、テストとは何ですか? どのようなテスト方法と戦略が使用されますか?
②、テスト環境: テスト対象のシステムの環境は何ですか。SIT、UAT、PAT のいずれですか?
③. テストの制限: テストを実行するための制限要因は何か、またその解決方法は何ですか?
④. リスク要因: テストにはどのようなリスクが存在する可能性があり、その解決策は何か?
⑤. 結果分析: テスト結果をどのように分析するか? テストによって生成されたデータを分析して特定するにはどうすればよいですか?
6. 原則
①. テスト戦略: 安定した継続的なワークロードを複数回実行し、テスト結果データの正規分布傾向を確認し、平均を試みます。
②. データ統計：実環境におけるテストデータの平均値とピーク値、および値の次元。
③ 差分リスク：どのリスクが存在するのか、また、テスト結果に対するリスクの影響が無視されているかどうかを明確にします。
④. 特殊な状況: 特殊な状況とは何か、また、対応する解決策があるかどうか (支払いシナリオでの支払いサービスの呼び出し、バッフルを使用するかどうかなど)。
7. 考慮すべき要素
トランザクション比率: 一部のビジネス シナリオでは、プロセスに複数のトランザクションが含まれており、シミュレートされた同時実行では、さまざまなトランザクションのそれぞれの割合が示されます。
突然の読み取りおよび書き込み操作: 一部の特殊なビジネス シナリオでは、短期的に大きなトラフィックの影響が発生したり、リクエスト数が突然減少したりすることがあります。シミュレーション方法 (サージ テスト)。
システム構成: 環境によってシステム構成が異なります。テスト結果を変換して比較するにはどうすればよいですか?
テスト期間: テスト実行中、実行にかかる時間、さまざまなトランザクションの時間割り当てなど。
結果表示タイプ：平均値、ピーク値、パーセンテージ値の表示方法と比較方法は？
成功/失敗率: 各テスト中のトランザクションの成功と失敗の比率に関する統計。
再現可能か: テスト中にエラーや異常な状況が発生した場合、再現できますか?
比較可能か: 比較のための他のテスト ツールまたはテスト結果はありますか (テスト結果を比較するためにテストをできるだけ多く実行してみてください。標準偏差と正規分布について学習してください)。
8. 簡単かつ実現可能な方法
システムの負荷を徐々に増加させることは、システムが処理できる最大スループットを決定する簡単な方法であり、システム パフォーマンスのコーナーを見つけるための実行可能な戦略 (ステップ ストレス テスト) です。
9. 集中力
ベンチマークの焦点は統計分析です。統計は次の側面から実行できます。
①. 適切なテストツールを選択し、妥当なテスト方法と確認が必要なシステムパフォーマンス指標を設定します。
②. さまざまなテスト ツールを選択し、テスト結果を比較し、実際のパフォーマンスの結果である安定した反映システムを選択します。
③. テストを複数回実行し、多数のテストデータセットと指標を収集します。
④. さまざまな側面からデータを解釈および分析し、レポートを作成します。