要約：
彼らは失敗することによって明確な結果または出力を持っているので、テスト結果を報告することは、比較的シンプルで機能的です。いくつかのより微妙なの性能試験の結果を報告しますが、これらの値を表示するには、多くの方法があります - しかし、マイケル・??・スターは、これらの方法は、特に効果的ではないことを感じました。彼は報告書を読みやすい方法の性能試験結果を提案しています。
効果的な報告の試験の結果は、当社の専門の一つの聖杯です。正しい動作の場合は、プロジェクトの品質を向上させ、私たちは実用的なものに焦点を当てることができます。しかし、間違った操作ならば、それは誤解を増加しますテストの値を減らします。
テスト結果は、レポート機能、これらのテストはクリアまたは失敗を介して出力されるので、比較的簡単です。パフォーマンステストを報告することは、より微妙です。
定義から始めてみましょう：この記事の目的は、私は「性能テスト」は、任意のテストは、数値のシリーズは、許容できる結果と考えられてきた対策を実行意味用語を使用しています。その上それは、同時ユーザサイトのサービスの数を、電力消費量を測定することができるデータは、ハードディスクの速度から読み取ることができ、そして。 - 任意の非機能要件を測定します。
挑戦の第1の性能テストが考えられているかを決定することである「を通じて。」これは、多くの場合、要件定義フェーズで見過ごされています。「ビデオファイルの処理速度が毎秒100の未満のフレームでなければなりません。」「データベースからデータを抽出するための時間が10ミリ秒未満でなければならない」、または：私はこれを解釈するために多くのニーズを見てきました 彼らは私たちが達成したい、実際の目標が含まれていないため、これらの要件が不完全です。私たちは、我々はまだ、製品の最悪の結果と一緒に暮らすために許可されていることを知っています。ここでは2つの問題があります。
まずは、私が（リコール要件は、「毎秒少なくとも100のフレーム」です）テストを実行し、完了した101でビデオファイルを処理するためにスピードを発見したと仮定しましょう。それは右、よさそうですか？しかし、それは我々がエッジに近いことを意味し（製品の需要を満たすことは困難である）、またはすべてが大丈夫ですん？要件が明確に定義されている場合、それは最小値と目標を含有する - 例えば、ターゲット：毎秒120のフレーム、最小：毎秒100のフレーム。第二の結果は明らかに製品が需要を満たすことは困難であることを意味するもので101あたりのため、このような需要があります。
第二に、ときに（例えば、毎秒99）試験最小限障害、プロダクトマネージャは、「柔軟」であっても、製品の圧力を受け入れます。どのくらいの頻度で私たちが聞いて、「確かに、私たちは最小値以下ですが、私たちはしばしば渡すので、我々はそれが良いと判断しましたか」？完全な要件は（対象：毎秒120のフレーム）を得ることができれば、我々はどのように遠く離れたターゲットからのより明確な結果が表示され、製品が本当の問題になります。
整合性の利益のために、私は、非機能要件に言及し、試験方法は、試験結果に影響を与えるので、最小値は、特定のターゲットでなく、テストメソッドだけでなく、必要とされます。我々が測定を実行する方法に応じて、CPU使用率を測定する場合、例えば、結果が大幅に変化するであろう。私たちは、記録された最大を測定していますか？どのくらいの時間？我々はそれを測定の平均値を計算しますか？どのように多くの測定値が1秒を持っていますか？CPUその上で並列に実行する他に何私たちのテスト？
理論的には、単にパフォーマンスの結果を報告することは問題にはなりません。結果のみを示すと、パスを指摘したか失敗。ここでも、しかし、我々は結果を知りたいだけではなく、我々は結果が目標を関連する方法のアイデアを取得したいです。報告書は、過度に複雑ではありません確認しますが、それでも状態の全体像を送信することはバランスのとれたアプローチです。
私たちは、テーブルを使用することができます。
| 需要 |
目標 |
最小 |
結果 |
| ビデオ処理速度（毎秒フレーム） |
120 |
100 |
101 |
ほとんどの製品は、多くの性能要件を持っているので、いずれにせよ、我々は数字で満たされた大きなテーブルの終わりになるでしょう。すぐにどこに問題を参照することは困難です。私たちは、読みやすさを向上させるために色を使用することができます。
| 需要 |
目標 |
最小 |
結果 |
| フレーム処理速度（毎秒フレーム） |
120 |
100 |
101 |
| CPU使用率（％） |
7 |
10 |
8.55 |
| パフォーマンスの消費 |
1.5 |
1.9 |
1.34 |
しかし、これは多くの問題をもたらします。これは、CPU使用率と同じカラーコード付きフレーム処理速度？ほとんどが失敗したことを意味し、他の場合に十分に許容される範囲です。それは赤でマークされ、処理速度をフレームありか？しかし、その後、私たちは失敗を表し何色でしょうか？そして、私たちは、それはそれの前に黄色と緑に変化をもたらす必要がありますどのくらいを検討しますか？一部の人は色盲を持っているので難しさは、発生言うまでもありません。
私の医者は私の血は毎年私に送られた三年ごとに（私は細心の注意を払ってこのことを行う）チェックすると、私はこの問題を検討しています。いずれの場合においても、実験の結果が示し、このテーブルの数の多数のリストを含めます。
私は、適切な方法で物理学者ではない午前にもかかわらず、私は境界である、良い結果を区別することができ、そしてそれは、私はあなたの医者と話し合うべきものです。
私の心の中で電球が先に行く：なぜパフォーマンステストを報告するには、このメソッドを使用していませんか？私はスライドでデータポイントとプレゼンテーションのいくつかを指摘しました：
| プロパティ |
分数 |
| エネルギー消費量 |
|
| 秒あたりの送信/メートル |
|
| CPUの使用率 |
|
| メモリ使用量 |
私はまだ色を使用することに注意してください、しかし軸は色の選択を説明し、ハイライトは良くなるとどこ色が濃い方が良いだろうどこほのめかした - 別の方法を。読者は明らかに、各測定の位置が許容範囲内で見ることができ、色は、主に問題のある領域に注目いただけます。そのようなレポートを作るには時間がかかるかもしれないが、それを自動化することができます。
私はまだアイデアを勉強しています - - 私は、実際のプロジェクトでこのアイデアの実現を確認するためには至っていないが、あなたはこのアイデアを使用しない場合、私はあなたの経験やあなたの組織の反応を知っていることを嬉しくなります。