どの程度確かなのか？商業的な意思決定のためのエビデンスの格付け

多くのビジネスレポートは、すべての数字を同じ確信度で示しています。会計システムから抽出した売上高の隣に、プレスリリースから転記した市場規模の推計が並び、どちらも同じフォント、同じ表で、同じ重みを持って表示されます。読み手にはどれが確かでどれが推測なのか区別できず、結果として意思決定は、その場で最も弱い数字に依拠することになります。

私たちは、公開または提供するすべての所見を格付けしています。グレードが表すのはエビデンスの性質であり、結論への好みではありません。

4つのグレード

どのグレードも劣ったものではありません。新しい市場については、実務家の見解が唯一入手できるエビデンスであることも多く、価値を持ちえます。重要なのは、自分がどの種類のエビデンスを手にしているかを知ることです。

適用の方法

1. まず意思決定を書き出す

「来四半期にドイツで販売を開始すべきか？」は意思決定です。「ドイツ市場分析」はそうではありません。どのエビデンスが重要かは意思決定によって決まります。それがなければ、リサーチは使える時間いっぱいまで膨らみます。

2. 意思決定が依拠する事実を列挙する

市場への参入であれば、需要、陸揚げコスト、コンプライアンス要件、競合の価格、損益分岐までの期間などが該当します。それぞれを短い表の1行にします。

3. 各事実を格付けし、出典を明記する

すべての数値の横に、出典、時点、グレードを記録します。日付は重要です。昨年正しかったプラットフォームの手数料や規制上のしきい値が、今も正しいとは限りません。

4. 最も弱い重要な要素を見つける

意思決定にとって重要で、かつCまたはDに格付けされた事実を探します。わずかな追加作業が最も大きな効果を生むのはこうした箇所です。推計の代わりにサプライヤーの見積もりを、前提の代わりに小規模なテストを用います。

5. 推奨の確信度を明示する

推奨の強さは、それが実際に依拠する最も弱い事実の強さを超えません。そのことを明示します。「コストについては高い確信度、需要については中程度の確信度で、販売を開始する」という表現は、自信ありげな文章よりも役に立ちます。

よくある落とし穴

• 精緻さによる偽装。 「市場規模は4億8,260万」という数字も、モデルから導いたものであればグレードCです。
• 相関を因果と読み違える。 レビュー数の多い製品は上位に表示されやすい傾向があります。しかし、それだけではレビューが順位の原因であることは示せません。
• 古くなった一次情報源。 規則・規制がグレードBとなるのは、現に施行されている版に限ります。
• 平均で問題を覆い隠す。 平均の利益率は、販売するたびに損失を出している製品を隠してしまうことがあります。

格付けによって何が変わるか

意見の対立がエビデンスに関する問いに変わるため、会議は短くなります。リサーチの予算は、意思決定を変えうる事実に向けられます。そして意思決定の後に、学ぶことが可能になります。結果が悪かったのは不運だったのか、それとも弱いと分かっていた数字に基づいて行動したのか、と。