イノベーションガイド | プロダクトマネージャーが KPI 指標を突破して製品のパフォーマンスをより正確に測定する方法

優れた製品 KPI 指標は、収益の増加を意味するだけでなく、製品を理解していることを示します。しかし、プロダクトマネージャーとして、KPI メトリクスを効果的に使用して製品のパフォーマンスを特定する方法を決定するのに苦労することがあります。本当の洞察を得て、それを実用的な洞察に変えるのは簡単ではありません。この記事では、プロダクトマネージャーが KPI 指標を効果的に使用して、製品のパフォーマンスをより正確に測定する方法について詳しく説明します。あなたが新任のプロダクトマネージャーであろうと、熟練したプロフェッショナルであろうと。

KPI 指標は製品のパフォーマンスを完全に反映していない可能性があります

すべてのプロダクトマネージャーは、早い段階で指標に焦点を当てることを学びます。より多くのデータを使用してより適切な意思決定を行います。上司や上級管理職に、何が機能しているのか、何が機能していないのかを示す明確な証拠を提供できます。エンジニアリングチームと設計チームは、何を構築すべきかについて「プロダクトマネージャーの勘」に頼るべきではありません。誰もがデータについて安心感を持っています。

しかし、これはいつもそうなのでしょうか？

間違った指標を追跡するとどうなるでしょうか? データを誤解したり、適切な意思決定を行うために依存する指標が少なすぎると何が起こるでしょうか?

データを使用して意思決定を行うことは簡単そうに思えますが、実際はそうではなく、考慮する必要があるかなりのニュアンスがあります。それは、優れた指標とは何かを理解することから始まります。

すべての指標が同様に有効であるわけではありません。

リーンアナリティクスでは、プロダクトマネージャー (およびその他!) が適切な指標とは何かをよりよく理解できるように、さまざまな種類の指標が識別および定義されます。これらのタイプには次のようなものがあります。

虚栄心と実用的な指標
定性的指標と定量的指標
探索的指標とレポート指標
遅行指標と先行指標

それぞれについて簡単に説明します。

3.1 虚栄心と実際的な指標

バニティ指標については皆さんよくご存じかもしれませんが、残念なことに、バニティ指標は依然としてあらゆる製品分析の奥深くに埋もれています。正直なところ、それは私たちに良い気分をもたらすので、無視するのは難しいです。これらは、物事が順調に進んでいるという印象を与える「右肩上がり」の数字です。

プロダクトマネージャーとして、バニティメトリクスを追跡するなとは言いません。場合によっては、経営陣がこれらの数値を追跡して報告することを求める場合があります。これは良い習慣ではありませんが、一般的です。ただし、バニティ指標を追跡する場合でも、最終的には実用的ではないため、これらの数値に基づいて意思決定を行わないようにすることが重要です。バニティメトリクスに基づいてアクションを起こすことは非常に困難であり、非常に危険です。

行動を変え、実際に何が起こっているのかを理解できるのは、実用的で実用的な指標だけです。

3.2 定性的指標と定量的指標

定性的指標と定量的指標の両方が重要です。

定性的指標は構造化されておらず、物語的です。 定性的に収集したフィードバックは多くの場合非常に有益ですが、集約するのが難しい場合があります。

定量的指標は、追跡する数値と統計です。 それらは確かな事実を表していますが、多くの場合、得られる洞察は少なくなります。

定量的なデータは何が起こったかを示します。定性的データがその理由を教えてくれます。両方をうまく収集できなければ、優れたプロダクトマネージャーになることはできません。

定性的なデータを収集するということは、ユーザーや顧客にインタビューして、より深いニーズや問題点を理解するのが上手になることを意味します。たとえリサーチチームを持っていたとしても、プロダクトマネージャーとして最前線に立って顧客に頻繁にインタビューする必要があります。

実際、全員 (デザイナー、開発者、QA など) を参加させることをお勧めします。一度にユーザーにインタビューする担当者は 2 ～ 3 人までにしてください。ただし、製品の構築に携わる全員がユーザーや顧客と直接接触する必要があります。

私が目にする大きな間違いは、製品チームが大量の定量的データを収集するとすぐに、あたかも定量的データが定性的データに取って代わられたかのように、定性的データの収集をやめてしまうということです。そうではありません。両方必要です。

顧客へのインタビューを決してやめないでください。カスタマーサクセスチームだけに依存しないでください。

3.3 探索的指標とレポート指標

どちらも貴重ですが、まず指標をレポートすることから始めます (特に大量のデータがない場合)。より多くのデータを収集すると、何かを発見するために「データの探索」を開始できます。

レポート指標: これらはほぼ予測可能です。通常の日常業務についての情報を提供します。これらは例外によって管理します。つまり、チャーンが 5% から 20% に突然急増した場合は、問題があることがわかり、アラームが鳴り、すべてが適切な状態にあるはずです。
探索的指標: これらは推測的なものです。目標は、予期せぬ、または興味深い洞察を見つけることです。時間が経つにつれて、これは不当な利益の源となる可能性があります。

3.4 遅行指標と先行指標

遅行指標と先行指標はどちらも重要で便利ですが、最終的な目標は先行指標を見つけることです。

遅行指標: これらはパフォーマンスを示す過去の数値であり、事実上、ニュースを報告します。
先着指標: これらは、明日何が起こる可能性が高い (または可能性が高い) こと、つまりニュースになることを示す今日の数字です。

例を挙げてみましょう:顧客離れ

この例では、チャーンを毎月サービスを放棄する顧客の数として定義しましょう。そこで、毎月末に解約率を計算します。

この数字は役に立ちますが、残念ながら、これに対してアクションを起こしたい場合は、今すぐ変更を実装し、影響があるかどうかを確認するまで少なくとももう 1 か月、おそらく 2 ～ 3 か月待つ必要があります。これは学習サイクルが遅く、迅速に行動しようとすると問題になります。

チャーンの予測因子を特定するにはどうすればよいですか? 顧客のクレーム

顧客の苦情は毎日測定できます (必要に応じてリアルタイムで測定できますが、それはおそらくやりすぎです)。数日以内に顧客の苦情が増加し始めたら、それは良い兆候です。何かが間違っている。何が問題だったのか全く分かりません。顧客からの苦情番号だけがわかりましたが、そのおかげで、より深く掘り下げて問題を理解することができました。

もしかしたら、製品に新たなバグを持ち込んでしまったのでしょうか? もしかしたら、カスタマーサクセスチームの規模が小さすぎて、応答時間が遅くなっているのではないでしょうか? もしかしたらダウンタイムがあるかも？

私が知っていることの 1 つは、おそらく真実です。顧客からの苦情が増え続けると、顧客離れも起こるということです。したがって、顧客からの苦情は顧客離れの主な指標になります。私は顧客からの苦情に非常に迅速に対応し、問題を診断し、修正を実装し (できれば!)、結果をほぼ即座に確認できます。

初めて始めたときは、遅行指標に焦点を当てる必要があります。何が起こっているのかを報告し、最善を尽くして状況を診断し、自分の仕事が変化にどのような影響を与えるかを確認してください。しかし、理想的には、時間の経過とともに、製品やビジネスに影響を与える先行指標や指標を特定し、より迅速に対応できるようになります。

適切な KPI 指標を見つける方法

Lean Analyticsでは、作成者の Alistair Croll と Ben Yoskovitz が、優れた KPI 指標の 4 つの重要な基準を特定しています。

優れた指標は理解しやすいものです。 大量のデータを追跡でき、製品全体 (アプリなど) を使用してユーザーの行動すべてを監視でき、競合データにアクセスでき (場合によっては)、ユーザーをセグメント化できます。または、顧客がさまざまなグループに分類されるなどです。本能的に可能な限り追跡したいと思うのは問題ありませんが、それが事態を複雑にします。

したがって、最初に行う必要があるのは、追跡している指標が理解しやすいものであることを確認することです。アナリティクスは、組織内の全員が何が起こっているかを知り、より良い選択を集団で行うのに役立つため、アナリティクスは全員が話せるべき「共通言語」であると常に考えてください。したがって、指標を簡素化し、ユーザーを圧倒しないように最善を尽くしてください。
優れたインジケーターは比較可能なものです。 インジケーターは通常、ある時点を表します。彼らは現在何が起こっているかのスナップショットを提供します。しかし、それがすべてではありません。たとえば、自分のアプリに 10,000 人のアクティブユーザーがいると言ったとしても、それが良いことなのか悪いことなのかを判断するのは困難です。先月のアクティブユーザー数が 1,000 人だったと言うと、先月と今月を比較すると、かなり良くなっているように見えます。アクティブユーザー数が 10 倍に増加しました。

通常、優れた指標とは、一定期間にわたって比較する指標です。ここからコホート分析に踏み込み、変更を加える際に時間の経過とともに進捗を測定することが非常に重要である理由を説明します。
優れた指標は比率です。 数値を時間の経過とともに比較することは役に立ちますが、それでもすべてを伝えることはできません。上の例では、先月は 5,000 件の登録のうち 1,000 人のアクティブユーザーがいたため、私の 20% がアクティブユーザーになったとします。今月のアクティブユーザーは 10,000 人 (先月 10 倍) ですが、実際のサインアップは 200,000 です。これは、ユーザーの 5% しかアクティブユーザーに変えていないことを意味します。(これらの数字が単純であることは承知していますが、理解していただければ幸いです。)

比率は整数よりも優れた物語を伝えることがよくあります。上記の簡単な例では、何とかしてより多くのユーザーを獲得できましたが、アクティブになったユーザーはほとんどありませんでした。アクティブユーザーが 10 倍に増えたことには満足していましたが、獲得していたユーザーには何か問題がありました。

注目する指標を評価するときは、比較的な性質を持つ比率または比である必要があります。
良いインジケーターは行動を変える： これは良いインジケーターの最も重要な側面です。これは、リーン分析で説明されている「指標の黄金律」につながります。指標によって行動が変わらない場合、それは悪い指標です。

多くの指標を追跡するのは簡単ですが、意思決定を行うための適切な指標を見つけるのははるかに困難です。私たちは収集したデータをじっと見つめますが、それをどう扱えばよいのかわかりません。

プロダクトマネージャーとして成功するための鍵は、本当に重要ないくつかの重要な指標に焦点を当てることができることです。

値が上がるか下がるか、あるいは変わらない場合でも、行動を起こす必要があるため、それらを知ることが重要です。

より効果的な方法を使用して製品のパフォーマンスを測定する

プロダクトマネージャーとしてのあなたの仕事は、製品 (および成長オペレーション) で何が起こっているのかを理解し、「ホットスポット」 (問題領域) を特定し、それらを修正する方法を見つけることです。あなたは、設計、エンジニアリング、品質保証、マーケティング、販売、管理などを含む他のすべての部門の間の意思決定者であり、コーディネーター/ファシリテーターです。

仕事の大部分は、どの指標に焦点を当てるべきかを判断し、分析の価値を確実に最大化することです。今日説明するトピックについては、次のことを行うことをお勧めします。

追跡しているすべてのデータを再確認し、そのメトリクスが上で定義した「良好なメトリクス」の基準を満たしているかどうかを確認します。 関心のある主要な指標にほとんどの注意を集中してください (つまり、上記の「良好な指標」の基準を満たさない大量のデータを収集している可能性がありますが、それは問題ありません)。
パフォーマンスダッシュボードを更新します (必要な場合)。 ほとんどの企業には、企業の最も重要な指標を追跡するパフォーマンスダッシュボードがあります。場合によっては、複数のダッシュボードといくつかの統計レポートが存在します。これらをチェックして、すべてのインジケーターが良好であることを確認してください。そうでない場合は、社内の他の人と話し合って、より有用な指標をより適切に調整できるかどうかを確認する価値があるかもしれません。
バニティ指標を特定します。 バニティ指標の追跡をやめろとは言いませんが、組織にとってバニティ指標はどの程度重要ですか? 経営陣はあなたにこれらの数字を報告することを期待していますか? これについては話し合う価値があるかもしれません。少なくとも、バニティ指標を特定して、その使用方法に注意できるようにしてください。
早期の指標と遅行指標を特定します。 先行指標と遅行指標は両方とも価値がありますが、どちらがどちらであるかを知っておくと、数値の使用方法が変わるため役立ちます。ほとんどの意思決定を遅行指標から行っていることに気付いた場合 (これはよくあることです)、適切な先行指標を見つける方法についてチームとブレインストーミングするとよいでしょう。
最大の課題をターゲットにして、役立つデータがあるかどうかを確認してください。 プロダクトマネージャーは問題解決者です。解決しようとしている問題がわかれば、役立つデータ (探索的指標) を収集しているかどうかがわかる可能性があります。そうでない場合は、時期尚早である可能性があります (つまり、十分なデータがない)、または最終的にデータを使用して問題を明らかにするのに十分なメトリクスまたは適切なメトリクスを追跡していないことを示している可能性があります。洞察。大海を沸騰させようとするのではなく、重要な問題を見つけて、それを深く掘り下げてください。

データは万能薬ではありません。これは重要。それがなければ目が見えなくなりますが、悪いデータに簡単に惑わされてしまう可能性があります。あるいは、すべての意思決定を放棄するかもしれませんが、それは答えではありません。自分の直感も重要です (一緒に働いているチームの直感も同様です)。

すべての意思決定を完全にデータに基づいて行うことは不可能です。データがない場合は、何かをする必要があります。そうしないと、停滞したり、分析麻痺に陥ったりします。

したがって、仮説を立てたり、推測したりしてください。あなたの直感に基づいて何らかの実験をしてください。しかしその後、結果を測定します。

イノベーションソリューションスプリント

今すぐプランを見る >

多くの革新的なプロジェクトの方向性は明確ではなく、チームは実現においてほとんど進歩がなく、前進し続けることができません。革新的なプロジェクトが直面する戦略、製品、成長の課題を解決するにはどうすればよいでしょうか? シリコンバレーで最も人気のあるデザインスプリント手法を使用すると、チームはわずか 1 ～ 3 週間で迅速な答えを得ることができます。

成功事例：KPI指標の実践

ケース 1: Moz は追跡するメトリクスを削減します

Moz は、検索エンジンの最適化に重点を置いた SaaS ソフトウェア会社です。2018 年 5 月に同社は 1,800 万ドルを調達し、急速に規模を拡大しています。彼らは進歩は良いことだと認識していますが、何が起こっているのかを把握し、問題を特定する方法や、実際に大きな変化をもたらす変更を加えることがますます困難になってきています。

単純化するために、同社は純ユーザー数という 1 つの指標に焦点を当てました。

ネットデルタは、毎日の新規顧客の数から Moz を離れる顧客の数を引いたものを表します。これが会社の主な焦点となり、社内全員がこの単一の指標を中心に連携するようになりました。

Net Increment 自体は実用的ではありませんが、製品チームはビジネスのさまざまな側面を迅速に調査して、何がうまくいっているのか、どこに問題があるのかを確認することができます。

たとえば、ネットデルタが上昇している場合、物事は順調に進んでいるために、その理由を知りたいと思うでしょう。一方、ネットデルタが低下した場合は、製品内のどこかに問題があることを意味しており、直ちに修正する必要があります。

簡略化するために、Moz は 1 つの指標である純増に焦点を当てます。

誰もが理解できる（そして長期にわたって比較できる）シンプルな指標に焦点を当てることで、企業はより適切な質問をし、より迅速に調査を行い、最終的には必要に応じて行動を変えることができます。

ケース 2: Circle of Friends は KPI を使用して適切なターゲット顧客を見つけます

Circle of Friends は、友達をサークルに編成して対象を絞ったコンテンツを共有できる Facebook アプリケーションです。同社は、Facebook が開発プラットフォームを立ち上げた直後の 2007 年に設立されました。タイミングは完璧でした。Facebook は、迅速にユーザーを獲得し、スタートアップを構築するオープンでバイラルな場所となりました。これほど多くのユーザーにオープンなプラットフォームはかつてありませんでした（当時の Facebook のユーザー数は約 5,000 万人でした）。

2008 年半ばの時点で、Moments のユーザーは 1,000 万人でした。誰から見ても、それは大成功でした。しかし問題があり、この製品を使用している人はほとんどいません。創設者によると、最初の作成後に活動を行っているサークルは 20% 未満です。そのため、何百万ものユーザーがいて高い成長を遂げているにもかかわらず、堅実な会社を構築することは不可能であるとわかっていました。

彼らの強みの 1 つは大量のデータです。それで彼らは掘り始めました。彼らは、非常にアクティブな特定の顧客グループである母親を発見しました。考えられるあらゆる指標で見ても、母親たちは狂ったようにモーメントを使用しています。

そこでビジネスは友人の輪からママの輪へと移りました。当初は新たな調整によりその数は減少しましたが、2009 年までにユーザー数は 450 万人に達し、そのうち 60% 以上がアクティブでした。

それがデータの力であり、「探索的指標」を使用し、それについて適切な質問をすることができます。このケースでは、チームは実際のビジネスを構築できるアクティブな顧客ベースを発見しました。

私は、特に初期の段階で、最適なユーザーを特定し、そのユーザーにさらに焦点を当てることができると強く信じています。