【「0.05」の謎】統計学好きでも意外と知らない「統計的に有意」の本当の正体

【「0.05」の謎】統計学好きでも意外と知らない「統計的に有意」の本当の正体

写真を拡大

「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ——。科学の「再現性の危機」をご存じだろうか。心理学、医学、経済学など幅広いジャンルで、過去の研究の再現に失敗する事例が多数報告されているのだ。鉄壁の事実を報告したはずの「科学」が、一体なぜミスを犯すのか？そんな科学の不正・怠慢・バイアス・誇張が生じるしくみを多数の実例とともに解説しているのが、話題の新刊『Science Fictions　あなたが知らない科学の真実』だ。単なる科学批判ではなく、「科学の原則に沿って軌道修正する」ことを提唱する本書。今回は、本書のメインテーマである「再現性の危機」の実態に関する本書の記述の一部を、抜粋・編集して紹介する。

Photo: Adobe Stock

ある閾値を下回れば「統計的有意」になる

自分の結果がノイズによるものではないと確信するためには、p値はどのくらい低くなければならないのだろうか。別の見方をすれば、偽陽性エラー（効果がないのに効果があると言ってしまうミス）をおかす確率はどのくらいまで許容すべきだろうか。

科学者の判断を助けるために、統計学の先駆者ロナルド・フィッシャーは、1920年代に閾値の設定を提案した。p値が閾値を超えると、関連する結果は「NULL」と見なされ（なぜなら、私たちが目にするものが実際は何も起こっていない場合とあまりに似ている）、閾値を下回ると「統計的に有意」とみなされるとした。

本来、「有意」と「効果」は関係ない

「有意」という言葉は大きな混乱をもたらしてきた。現代の私たちには、何らかの意味で大きな効果や重要性を意味するように聞こえる。しかしたとえば、p値がどんなに低くても、そういうことを意味するというわけではない。「効果の大きさ」と、「仮説が真実ではない場合に同じような結果が偶然に得られる確率」は、別のものだ。

たとえば、ある薬が病気に与える影響が非常に小さくても、偽陽性ではない、つまり、小さくても統計的に有意な効果であることは十分にあり得る。フィッシャーが閾値を提案した時代に、人々は「有意」という言葉を少し違う意味で理解していた。データに何かが起きていることを「示す」という意味であって、起きていることが必ずしも注目に値するわけではなかったのだ。

続きはこちら（ダイヤモンド・オンラインへの会員登録が必要な場合があります）