CEOは男性、秘書は女性？なぜ人間が作るデータにバイアスがかかるのか？

写真を拡大

　ビジネスや社会生活にAIが急速に普及するのに伴い、AIに関する倫理やガバナンスが注目を集めている。本連載では、Deloitte AI Instituteのグローバルリーダーが著した『信頼できるAIへのアプローチ』（ビーナ・アマナス著、森正弥・神津友武監訳／共立出版）より、内容の一部を抜粋・再編集。AIに潜む落とし穴、積極的に利用するために必要なリスク管理、そしてAIをいかに信頼できるものとして活用していくかを探る。

　第4回目は、人間が作るデータ自体に潜む「確証バイアス」「明示的および暗黙的バイアス」「構造的バイアス」について解説する。

＜連載ラインアップ＞
■第1回　Deloitte AI Instituteのグローバルリーダーが考える「信頼できるAI」とは？
■第2回　AIに履歴書を読み込ませれば、優秀な人材を本当に素早く選び出せるか？
■第3回　バイアスのあるデータで学習したAIが、ビジネスに与える深刻な影響とは？
■第4回　CEOは男性、秘書は女性？なぜ人間が作るデータにバイアスがかかるのか？（本稿）
■第5回　AIを使うべきか使わぬべきか、リーダーとデータサイエンティストの責任とは？
※公開予定日は変更になる可能性がございます。この機会にフォロー機能をご利用ください。
＜著者フォロー機能のご案内＞
●無料会員に登録すれば、本記事の下部にある著者プロフィール欄から著者をフォローできます。
●フォローした著者の記事は、マイページから簡単に確認できるようになります。
●会員登録（無料）はこちらから

確証バイアス（Confirmation Bias）
　人間は、自身の考えを立証できる情報を積極的に信じ込み、逆にそれに反する情報を受け入れない傾向があります。このことを確証バイアスと言い、私たちは人気のあるメディアや自身が好むような論調を探し出す傾向にあります。

　例えば、あるニュースチャンネルを他のチャンネルよりも閲覧したり、自身の考えを否定するのではなくむしろそれを支持するソーシャルメディアの活動に参加したりすることなどが挙げられます。

　このような経緯でソーシャルメディアによるエコーチェンバー^fは拡大していき、また持続していくのです。

　研究活動においても、確証バイアスが意図的に、あるいは無意識のうちにでも発生することがあります。科学者が仮説を立てる際に、彼らは既に何が真実か決めつけていていることが多く、そのため自分の考えと一致する理論を証明するように研究してしまうことがあります。

　自分の理論が正しいと証明するために重要な情報を隠したり見て見ぬふりをしたりするような非道徳的な科学者も一部にはいるかもしれませんが、そうではなく、無意識のうちに自分の仮説を立証する情報に着目してしまう科学者は非常に多いと考えられます。

　データサイエンスにおいては、確証バイアスとはあらかじめ定めた仮説に合うように相関やパターンを探すことを指し、その結果として、AIが誤った予測をしてしまうことがあります。

　AIの学習時に、データサイエンティストはデータを修正したり一部改変したりして、一定の精度を満たすモデルを作成することがあるかもしれませんが、そうすると開発されたAIツールは実世界に即しておらず、不正確で無意味なAIとなってしまう可能性があるのです。

明示的および暗黙的バイアス（Explicit and Implicit Bias）
　恣意的もしくは明示的バイアス（すなわち先入観）とは、物や人に対して我々が昔から持っているバイアスのことを言います。例えば、人種差別主義者や頑固一徹な人間は、偏見に満ちた人間としてイメージしやすいかと思われます。ただ中には、たとえ誰が何と言おうと自動運転は間違いなく人間の運転手にとって代わる、という穏やかな偏見もありうるということを忘れてはなりません。

　AIに関して言えば、データサイエンティストがこのような恣意的バイアスを持つ可能性はあるものの、そういったバイアスは世間的によく知られているため、モデルの開発・構築・運用時に排除することはおそらく容易であると考えられます。

　一方、アンコンシャスバイアスもしくは暗黙的バイアスとは、誰もが持ちうるバイアスであるものの、何かを判断する際に影響を及ぼしているということに気づきにくいバイアスのことを言い、このバイアスを軽減することは非常に困難です。

　例えば、社会心理学者のDr. Jennifer Eberhardt（ジェニファー・エバーハート博士）^gとDr. Jason Okonofua（ジェイソン・オコノフア博士）^hは、幼稚園児から高校生までを受け持つ教師が、教室で生徒が問題を起こした場合にどのように対応するか、生徒の人種別に調査しました⁶。

　その結果、教師は白人の生徒よりも黒人の生徒が問題を起こした際に厳しく責する傾向にあるということがわかりました。つまり、教師が持つアンコンシャスバイアスによって、生徒に対する行動を変えてしまったのです。

　データサイエンスにおいて、アンコンシャスバイアスはAIのライフサイクルのあらゆるステップで影響する可能性があります。データの収集時に影響されるだけでなく、データサイエンティストがアンコンシャスバイアスに基づいて開発した際に、出力結果がこの誰にも認知されないバイアスに影響されてしまう可能性もあります。

　また、さらにアンコンシャスバイアスの軽減を難しくしている要因として、データそのものにも潜在的にそのバイアスが含まれている可能性があるのです。

　具体的には、データ自体に影響を与えてしまう常識という名の固定観念のことを指します。例えば、自然言語処理アルゴリズムが、「CEO」を「男性」、「秘書」を「女性」と結びつけるデータセットで学習されているかもしれません。

　このようにモデルを学習させる際のデータセットに潜在的にバイアスが含まれることで、特定の性別に対し偏見を持ってしまうことはNLPにおいて頻繁に起こっています⁷。つまり、AIが性別と職業を関連づける際に、根本的にバイアスがかかった状態になっているのです。

f訳注：SNSにおいて、価値観の似た者同士で交流し、共感し合うことにより、特定の意見や思想が増幅されて影響力をもつ現象。攻撃的な意見や誤情報などが広まる一因ともみられている。

g訳注：アメリカの社会心理学者であり、現在スタンフォード大学の心理学科で教鞭をとりながら、フィールド調査や実験室調査などの方法を通じて人種と犯罪に関わる心理的関連性について大きな貢献をしている。

h訳注：カリフォルニア大学バークレー校の教授であり、現在は Jennifer Lynn Eberhardt 博士らと協力し、少年犯罪者の社会復帰に対する心理的障壁を調査するプロジェクトに取り組んでいる。

6. Jason Okonofua and Jennifer Eberhardt, “Two Strikes: Race and the Disciplining of Young Students,” Psychological Science 26, no. 5（2015）: 617-624.

7. Tony Sun et al., “Mitigating Gender Bias in National Language Processing: Literature Review,” Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics（2019）:1630-1640.

構造的バイアス（Institutional Bias）
　現代社会において、ほとんど誰からも認知されないほど深く社会システムや風習に入り込んだバイアスがあります。人々は、性別・人種・年齢・性的指向など、日常生活で様々なセンシティブな属性に関わる偏見をしてしまう可能性があり、そのような根深い偏見はデータに表れ、ひいてはAIモデルに影響を与える可能性があります。

　つまり、モデルを学習させる元データに構造的バイアスがあると、AIの出力はそのバイアスを反映させてしまうのです。

　例えば、法執行におけるAIの一般的な活用方法を考えてみましょう。犯罪の発生場所を予測することは、治安を良くするうえで大きな価値があります。アルゴリズムを使って過去の犯罪データを分析すると、近い将来に犯罪が発生しそうな場所を推測することができます。

　一部の警察では実際にこの手法を用いており、AIを使ってパトロールを集中させるべき場所を分析しており、彼らの存在によって犯罪が抑制されたり事件発生時には迅速に対応したりできることが期待されています。

　このとき、使用データはあくまで過去のものであり、また人種などのセンシティブな属性が含まれていないので、警察官によるバイアスに影響されずに取り締まりを行える点は非常に魅力的です⁸。

　しかし、このアルゴリズムに学習させた過去のデータそのものに特定のコミュニティに対する偏見が入っていた場合、結果として開発されるAIは構造的バイアスがかかっているのみならず、AIの中に永続的にそのバイアスが残り続ける可能性さえあるのです。

　さらに、このAIはフィードバックループを生み出すかもしれません。あるアルゴリズムが、ある都市の特定の地域で犯罪が発生すると予測し、警察がそれに対応するべく普段より多くの警察官をパトロールに向かわせたとします。

　結果、警察官の人数が増えたことでアルゴリズムがその地域での犯罪傾向が高くなったと示してしまい、さらに警察の出動回数が増えることにつながりかねないのです。

　このようなAIの暴走は、限られたリソースを有効に活用できないだけでなく、法執行機関がその考え方にバイアスがかかったり不公平さを持ったりしてしまうことで、世間からの（正当な）抗議にさらされることも考えられます。

　このようなバイアスの種類を見てみると、AIが公平性を保つことの難しさがより明確になったかと思います。体制や教育を整備することで簡単に解決できる要素は1つもありません。様々な種類のバイアスが重なり合い人間の先入観やデータへの主観が入り組んでしまっていることで、AIの導入が企業にとって大きなハードルとなっています。

　企業は製品やサービスを提供することに注力していますが、AIを利活用するとなると、通常のビジネス領域をはるかに超えた哲学的な疑問の解決や複雑な倫理的考察に取り組む必要が生じます。

　果たして、それができる体制は整備されているのでしょうか。それに取り組む時間、リソース、資金はあるのでしょうか。様々な法律や規則には企業はこのような準備に努めるべきだと記載されていますが、これは決して課題が単純化されるわけではないのです。

　ただ喜ばしいことに、ほぼすべてのユースケースにおいて、まったくバイアスのないデータを用いてAIを開発することが絶対に必要な条件だというわけではありません。実際、一部のバイアスはAIの機能に必要な情報であり、我々がすべきことはそのバイアスを最小限に抑え、バランスを取りながら最も効果的なAIツールを開発することなのです。

　BAM社に話を戻しましょう。最高人事責任者のVidyaは、書類審査時にAIシステムが正しく機能していないことに気がつきました。ログを見てみると、なんと女性が提出した履歴書のほとんどを不採用にしていたのです。これではまったく採用活動として意味がありません。

　彼女たちの中にも、経験豊富で学歴もある優秀な人材を幾人も確認できました。では、果たしてこのAIシステムはどこで判断を間違えているのでしょうか。性別で応募者を判断し不採用にすることは、労働力の不足以外の問題ももたらします。

　性別を理由に応募者を不採用にすることは労働者に不利益をもたらすだけでなく、企業にとっても差別を理由に訴訟されるリスクをはらんでいます。もし熱心なジャーナリストがこの問題を暴いたとしたら、会社の評判が大きく落ちてしまうような大問題になりかねません。

　また、監督官庁から指摘を受ければ、罰則が生じる可能性もあります。このように、性別を理由に応募者を判定するといくつもの問題が生じてしまいます。

　困惑し意気消沈したVidyaは、古い友人であるFrank（フランク）に会いに行きました。彼はBAM社でオペレーショナルマネージャとして長い期間働いた後、退職して同社の顧問を務めていました。

　Frankはよく「製造業は変わった」と話していました。昔のBAM社は溶けた鉄を動かし、巨大な機械を使う危険な仕事をしていたので、主に男性が働いていました。

　Frankは、「もちろん、製造業で働けるのは男性だけで、女性は肉体的に負担の少ない仕事をすべきだという愚かな考えが社会にあった時代の話ですよ。もっと多様性があれば、他により良い働き方があったのかもしれませんね」と話しました。

　Vidyaはあるアイデアを思いつき、はっとしました。AIはデータに基づいて学習されます。「その学習データはどれくらい古いものだったのだろうか。もしや、それがバイアスを生じさせた根源ではないだろうか。」と。

8. Will Douglas Heaven, “Predictive Policing Algorithms Are Racist. They Need To Be Dismantled,” MIT Technology Review, July 17, 2020.

＜連載ラインアップ＞
■第1回　Deloitte AI Instituteのグローバルリーダーが考える「信頼できるAI」とは？
■第2回　AIに履歴書を読み込ませれば、優秀な人材を本当に素早く選び出せるか？
■第3回　バイアスのあるデータで学習したAIが、ビジネスに与える深刻な影響とは？
■第4回　CEOは男性、秘書は女性？なぜ人間が作るデータにバイアスがかかるのか？（本稿）
■第5回　AIを使うべきか使わぬべきか、リーダーとデータサイエンティストの責任とは？
※公開予定日は変更になる可能性がございます。この機会にフォロー機能をご利用ください。
＜著者フォロー機能のご案内＞
●無料会員に登録すれば、本記事の下部にある著者プロフィール欄から著者をフォローできます。
●フォローした著者の記事は、マイページから簡単に確認できるようになります。
●会員登録（無料）はこちらから

筆者：ビーナ・アマナス,森 正弥,神津 友武