【統計学「p値」の謎】統計好きでも意外と知らない「p＜0.05」の本当の意味＜p値ハッキング＞

【統計学「p値」の謎】統計好きでも意外と知らない「p＜0.05」の本当の意味＜p値ハッキング＞

写真を拡大

「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ——。科学の「再現性の危機」をご存じだろうか。心理学、医学、経済学など幅広いジャンルで、過去の研究の再現に失敗する事例が多数報告されているのだ。鉄壁の事実を報告したはずの「科学」が、一体なぜミスを犯すのか？そんな科学の不正・怠慢・バイアス・誇張が生じるしくみを多数の実例とともに解説しているのが、話題の新刊『Science Fictions　あなたが知らない科学の真実』だ。単なる科学批判ではなく、「科学の原則に沿って軌道修正する」ことを提唱する本書。今回は、本書のメインテーマである「再現性の危機」の実態に関する本書の記述の一部を、抜粋・編集して紹介する。

Photo: Adobe Stock

「p値」を理解するための例え

p値の概念は必ずしも直感的ではない。そこで、統計学者が大好きなたとえを使ってみよう。

私はコインの入った袋を持っていて、「コインをめくるとすべて表が出る確率が高いだろう」と考えているとしよう。そして実際、コインを1枚取り出して5回めくるとすべて表が出た。これは何かおかしなことが起きているという、それなりに説得力のある証拠になるだろう。

では次に、最初のコインで5回のうち表が出たのは3回だけで、2回は裏が出た場合を考えてみよう。これは、私の理論の証拠としてはよろしくない。

では、ここで、その理論をあきらめるのではなく、「違うコインで確かめる」とどうなるか考えてみよう。

データを毎回独自の「ストーリー」で解釈し直す

つまり、袋から次々にコインを取り出して、5回連続で表が出る1枚に出合うまで試すのだ。もっとも、これでは、最初に試したコインですべて表が出た場合よりはるかに説得力がない。

では、何回か試したことを1つのストーリーで結びつけるというのはどうか。

「実は、袋から次のコインを出すたびに、仮説の新しいバリエーションを検証していたのだ」「2回目は、コインを左回りにめくったときだけ表が出るように重み付けされているかどうかを調べていた」「3回目は、部屋の温度が20度以上のときだけ起こるのかどうかを調べていた」「4回目は……」。

続きは自由に想像してほしい。私は自分でも、これらの新しくて面白い仮説を本当に検証しているのだと思い込むかもしれない。しかし基本的には、同じ検証を何回も繰り返しているうちに、偽陽性が出る可能性が高くなる。そして、5回連続で表が出る重要なコインを見つけたら、そのコインのデータだけを発表したいと思うかもしれない。

続きはこちら（ダイヤモンド・オンラインへの会員登録が必要な場合があります）