【統計学「p＜0.05」に下げる方法】統計好きでも意外と知らない「p値ハッキング」の中身

【統計学「p＜0.05」に下げる方法】統計好きでも意外と知らない「p値ハッキング」の中身

写真を拡大

「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ——。科学の「再現性の危機」をご存じだろうか。心理学、医学、経済学など幅広いジャンルで、過去の研究の再現に失敗する事例が多数報告されているのだ。鉄壁の事実を報告したはずの「科学」が、一体なぜミスを犯すのか？そんな科学の不正・怠慢・バイアス・誇張が生じるしくみを多数の実例とともに解説しているのが、話題の新刊『Science Fictions　あなたが知らない科学の真実』だ。単なる科学批判ではなく、「科学の原則に沿って軌道修正する」ことを提唱する本書。今回は、本書のメインテーマである「再現性の危機」の実態に関する本書の記述の一部を、抜粋・編集して紹介する。

Photo: Adobe Stock

「p値ハッキング」と呼ばれる欠陥

「p値ハッキング」と呼ばれている欠陥について紹介したい。（p値については前回記事）

p＜0・05（p値が0・05未満）という基準は論文を出版する上でとても重要であり、実際に効果があったことを示していると考えられている。そのため、あいまいな結果や期待外れの結果が出たときに、科学者はp値を閾値よりわずかに下げる、つまりハッキングをする。

p値ハッキングには大きく2つの種類がある。1つは、ある仮説を追求する科学者が、実験の分析を何度も繰り返し、そのたびに手法をわずかに変えて、最終的にp値が0・05未満になったところでやめるというものだ。特定のデータポイントを削除する、特定のサブグループ内の数値を再計算する（たとえば、男性だけの効果を確認した後に女性だけの効果を確認する）、異なる種類の統計的検定を試す、何かしら有意なものが出るまで新しいデータを収集し続けるなど、場当たり的に分析の手法を変えるやり方はたくさんある。

「ここを最初から狙っていた」ーテキサスの狙撃兵ー

もう1つは、既存のデータセットを用いて、特定の仮説は立てずにその場しのぎの統計的検定を繰り返し、たまたまp値が0・05を下回った効果を報告する、というものだ。科学者は、おそらく自分を納得させる意味も含めて、最初からこのような結果を求めていたと宣言すればいい。後者のp値ハッキングはHARKing（Hypothesising After the Results are Known／結果が分かった後に仮説を立てる）として知られている。いわゆる「テキサスの狙撃兵」のたとえがわかりやすい。リボルバーで納屋の側面を無造作に銃撃し、たまたま数個の弾痕が固まっている周りに標的の絵を描いて、ここを最初から狙っていたと主張するのだ。

続きはこちら（ダイヤモンド・オンラインへの会員登録が必要な場合があります）