データ分析思考(1)｜信頼性・妥当性思考

信頼性と妥当性の考え方

1. コンセプト

信頼性と妥当性の考え方は、通常、データ分析においてより価値のある指標を選択するために使用されます。

信頼性: 指標の信頼度。一貫性と安定性を含みます。（口径が一貫しているかどうか、揮発性があるかどうか）

妥当性: 指標の妥当性。データや指標の生成が測定したいものに適合するかどうか、つまり、指標の変化はその変化を表すことができます。

概要: 信頼性はデータの安定性と集中度を反映し、有効性はデータの正確性を反映します。

2.例を挙げる

A社の広告の効果を測定するために、広告のクリック数を指標にすると、配信チャネルが異なると、同じ広告のクリック数に対応する露出が異なる可能性があるため、非常に悪い、別の見方をすれば、露出が増えたことで広告のクリック数が増えたということは、広告の効果が上がったということでしょうか。これは明らかに間違っており、現時点では、広告のクリック数は明らかに適切な指標ではありません.より信頼性と妥当性の高い広告のクリック率を選択して測定します.

3.信頼性と妥当性の影響

データ分析にはこのような例がたくさんありますが、その信頼性や妥当性が分析結果にどのような影響を与えるのでしょうか? 以下の図で分析してみましょう。

ここで、競技に参加するシューター（指標）を選択する必要があります（物事の測定）、銃弾の穴の分布（指標データ）とブルズアイ（実際の結果）の関係は上の図に示されています。

• A: 銃弾の穴とブルズアイが非常によく重なっており、信頼性と妥当性は非常に優れています。
• B: 銃弾の穴は密集しているが、標的からの距離が遠く、このときの安定性は非常に良いが、精度が十分ではない、つまり信頼性が高く、効率が低い。
• Ｃ：弾痕はまばらだが、中心付近に分布しているが、この時点では安定性が不十分で精度は悪くない、つまり信頼性が低く、妥当性が高い。(このタイプは一般的ではありません。通常、信頼性が低いと有効性が低くなります)
• D: 銃弾の穴はまばらで、標的から遠く離れています. 現時点では、信頼性と妥当性は非常に低いです.