【統計学「p<0.05」に下げる方法】統計好きでも意外と知らない「p値ハッキング」の中身
【統計学「p<0.05」に下げる方法】統計好きでも意外と知らない「p値ハッキング」の中身
「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。科学の「再現性の危機」をご存じだろうか。心理学、医学、経済学など幅広いジャンルで、過去の研究の再現に失敗する事例が多数報告されているのだ。鉄壁の事実を報告したはずの「科学」が、一体なぜミスを犯すのか?そんな科学の不正・怠慢・バイアス・誇張が生じるしくみを多数の実例とともに解説しているのが、話題の新刊『Science Fictions あなたが知らない科学の真実』だ。単なる科学批判ではなく、「科学の原則に沿って軌道修正する」ことを提唱する本書。今回は、本書のメインテーマである「再現性の危機」の実態に関する本書の記述の一部を、抜粋・編集して紹介する。
Photo: Adobe Stock
「p値ハッキング」と呼ばれる欠陥
「p値ハッキング」と呼ばれている欠陥について紹介したい。(p値については前回記事)
p<0・05(p値が0・05未満)という基準は論文を出版する上でとても重要であり、実際に効果があったことを示していると考えられている。そのため、あいまいな結果や期待外れの結果が出たときに、科学者はp値を閾値よりわずかに下げる、つまりハッキングをする。
p値ハッキングには大きく2つの種類がある。1つは、ある仮説を追求する科学者が、実験の分析を何度も繰り返し、そのたびに手法をわずかに変えて、最終的にp値が0・05未満になったところでやめるというものだ。特定のデータポイントを削除する、特定のサブグループ内の数値を再計算する(たとえば、男性だけの効果を確認した後に女性だけの効果を確認する)、異なる種類の統計的検定を試す、何かしら有意なものが出るまで新しいデータを収集し続けるなど、場当たり的に分析の手法を変えるやり方はたくさんある。
「ここを最初から狙っていた」ーテキサスの狙撃兵ー
もう1つは、既存のデータセットを用いて、特定の仮説は立てずにその場しのぎの統計的検定を繰り返し、たまたまp値が0・05を下回った効果を報告する、というものだ。科学者は、おそらく自分を納得させる意味も含めて、最初からこのような結果を求めていたと宣言すればいい。後者のp値ハッキングはHARKing(Hypothesising After the Results are Known/結果が分かった後に仮説を立てる)として知られている。いわゆる「テキサスの狙撃兵」のたとえがわかりやすい。リボルバーで納屋の側面を無造作に銃撃し、たまたま数個の弾痕が固まっている周りに標的の絵を描いて、ここを最初から狙っていたと主張するのだ。
「意外」をもっと詳しく
「意外」のニュース
-
本田翼、メンズライクな私服に「可愛すぎ」と反響多数 意外な“おやつ”にもファン驚き5月8日18時0分
-
泉房穂氏 意外な人物との“同期の絆”明かす 「キャラ立ってた」「ルールは変えるもの」5月8日17時54分
-
大谷翔平 一世風靡した米スター俳優から「史上最高」と大絶賛!意外な対面に反響「最高すぎる」5月8日16時43分
-
GW明け、“意外なサービス”依頼が100件以上殺到する事態に 「これが5月病か」「10日間も休むと…」5月8日14時30分
-
ゴリエ 自身にまつわる意外な事実告白にスタジオ騒然「知らなかった」「これ借り物なの?」5月8日14時5分
-
【星座別】5月、最も恋愛に奮闘する女性ランキング第1位第3位5月8日12時30分
-
蛍(ほたる)の寿命は? 意外な一生や秘められた謎とは5月8日12時1分
-
トラック「最高速度90キロ」が招く意外な弊害、最悪シナリオは「事故増加」ではない!5月8日11時30分
-
「TM NETWORK」小室哲哉 ステージ裏での様子を告白「3人ともしない」と言い切る意外なもの5月7日15時57分
-
井上尚弥 意外!?プロ初ダウンのイメトレ明かす「本当にそういうシーンが訪れたらと日頃から考えていた」5月7日15時26分
国内ニュースランキング
-
1茨城県の「道の駅常総」で見つけた“意外な企画”がお得すぎる アレを詰め放題にするなんて… Sirabee
-
2静岡県知事選挙告示、新人6人が立候補を届け出…リニア中央新幹線着工などの是非で論戦へ 読売新聞
-
3セブン、8日から「値段そのままで増量」開始 あの商品はなんともう一個増量 Sirabee
-
4【独自】五輪銀メダリスト エリック・ワイナイナさんを傷害などの疑いで書類送検 東急線の駅でトラブルになり駅員らを殴りけがさせたか 警視庁 TBS NEWS DIG
-
5偽造マイナンバーカードで200万超のロレックスを勝手に購入される被害…原因は“スマホ乗っ取り”【Nスタ解説】 TBS NEWS DIG