用語集
検定hypothesis test
「全体では差がない」などの仮定と、観測したデータがどの程度整合するかを統計的に評価する方法。見かけの差を実際の差と判断する根拠があるかを確かめます。
検定とは
ここでは統計的仮説検定を指します。まず「施策前後で全体の満足度に差がない」などの仮定を置きます。これを帰無仮説と呼びます。その仮定の下で、観測した結果と同じ程度か、それ以上に極端な結果がどのくらい起こり得るかを調べ、事前に決めた基準に照らして判断します。
身近な例
広告Aと広告Bの購入率を比べ、Bの方が高い数字だったとします。検定では、全体の購入率は同じでも、調べた人数や偶然の違いによってその程度の差が出るかを評価します。単に購入率の高い方を選ぶ前に、差を判断する根拠があるかを確認できます。
結果だけで結論を出さない
統計的に有意な差があっても、その差が事業上大きいとは限りません。また、有意な差が出なかったことは、「差がない」と証明できたことを意味しません。データが少なく、差を見つける力が足りない場合もあります。検定だけで、差が生じた原因を特定することもできません。
実務での使い方
- 比較する対象、指標、仮説を先に決める。
- 増減の両方を調べる両側検定か、一方向を調べる片側検定かを事前に決める。
- データの性質や調査設計に合った検定を選ぶ。
- 差の大きさ、信頼区間、事業上の重要性も合わせて判断する。
