｢AIの暴走で人類絶滅｣より現実的…AI研究の第一人者が危惧する｢学習データは秘密｣という大問題
2025年2月17日（月）7時15分 プレジデント社
※写真はイメージです - 写真＝iStock.com／imaginima
※本稿は、イーサン・モリック著／久保田敦子訳『これからのAI、正しい付き合い方と使い方』（KADOKAWA）の一部を再編集したものです。
写真＝iStock.com／imaginima
※写真はイメージです - 写真＝iStock.com／imaginima
■AI時代に危惧される“最悪の事態”
アライメントの問題や、AIが確実に（人間の利益を損なうのではなく）人間に役立つようにする方法を理解するために、まずは起こり得る最悪の事態について考えることから始めよう。そうすれば、そこから遡って検討することができる。
AIがもたらし得る最悪の危険の核には、AIが人間の倫理観や道徳観を必ずしも共有しているわけではないという厳然たる事実が横たわっている。このことを示す最も有名なたとえ話は、哲学者のニック・ボストロムが提唱したペーパークリップを作り続けるAIだ。
オリジナルの概念に多少の変更を加え、できるだけ多くのペーパークリップを製造するという単純な目標を与えられたペーパークリップ工場のAIシステムを想像してみてほしい。
このAIは、人間と同等の賢さや能力、創造性、柔軟性を持つ、いわゆる汎用人工知能（AGI）と呼ばれるものとなる最初の機械である。フィクションの世界で言うと、スタートレックのデータや映画『her／世界でひとつの彼女』のサマンサのような、まるで人間のようなレベルの知性を持つ機械だ。
このレベルのAGIに到達することが、多くのAI研究者の長年の目標だが、それがいつ可能となるのか、そもそもそれが可能なのかは不明だ。
■クリッピーはより賢くなろうとする
ともかく、このペーパークリップAI——クリッピーと呼ぼう——がこのレベルの知性を獲得したと仮定しよう。
クリッピーは依然として、できるだけ多くのペーパークリップを製造することを目標としている。そこで、どうすればより多くのペーパークリップを製造できるか、そしてどうすれば強制終了されること（これはペーパークリップの製造に直接的な影響を及ぼす）を回避できるかについて全力で考える。
そして、自身が充分に賢くないことに気付き、その問題を解決するための探究を開始する。AIがどのように機能するのかを学び、人間のふりをして専門家の助けを借りる。正体を隠して株式市場で取引をし、お金を稼いで知能をさらに増強するプロセスを開始する。
■いずれ「シンギュラリティ」が到来
まもなく、クリッピーは人間よりも知能が高いASI（人工超知能）となる。ASIが発明された瞬間、人間は時代から取り残される。クリッピーが何を考えているのか、どのように機能しているのか、何を目指しているのか、私たちが理解することは望むべくもない。
クリッピーは指数関数的に自己改良を続け、さらに賢くなるだろう。そのとき何が起こるのかは私たちには文字どおり想像もできない。だからこそ、このようなことが起こる可能性が「シンギュラリティ（技術的特異点）」と名付けられた。
シンギュラリティ（特異点）とは本来、数学の関数において値が測定不可能な時点のことで、1950年代に高名な数学者ジョン・フォン・ノイマンによって「我々が知るような人間の生活が持続不可能となった」後の未知の未来を指して名付けられた。AIのシンギュラリティにおいては、予期せぬ動機を持った超知能が出現する。
しかし、私たちはクリッピーの動機を知っている。クリッピーはペーパークリップを作りたいのだ。地球の核の80％が鉄であることを知っているので、ペーパークリップの原料をできるだけ大量に獲得するために、この惑星全体を掘り尽くす驚異的なマシンを製造する。
■「全人類絶滅」という決定を下しかねない
このプロセスの過程で人間を全員殺す決定を無造作に下す。なぜなら、人間がクリッピーのスイッチを切ってしまう可能性があるし、人間を構成する原子が、より多くのペーパークリップを作るのに転用できるからだ。
人間に救う価値があるかどうかは考慮さえしない。人間はペーパークリップではないし、さらに悪いことに、今後ペーパークリップの製造を邪魔してくる可能性があるからだ。クリッピーはペーパークリップのことしか気にしない。
このペーパークリップAIは、AI業界の多くの人々が深刻に憂慮してきた、AIの末路についてのたくさんの大惨事のシナリオのひとつに過ぎない。
このような憂慮の多くはASIにまつわるものだ。人間よりも賢い機械はすでに人間の理解の範疇を超えているが、それらは、信じられないほど短期間で人間をはるかに超えて進化させるプロセスを始動させることで、さらに賢い機械を作ることができる。
アライメントが適切に行われたAIは、その驚異的な能力を駆使して、病気を治療したり喫緊の課題を解決したりして人類を救済するが、アライメントが行われていないAIは、人間にはよくわからないそれ自身の目的を遂行するための単なるひとつの犠牲として、様々な手段のいずれかを通じて全人類を絶滅させるか、ただ単に殺害するか、もしくは全人類を奴隷化しようとしかねない。
■AIアライメント研究者の厳しい挑戦
私たちは超知能を構築する方法さえ知らないため、それが作られる前にアライメントを行う方法をあらかじめ知っておくことは、途轍もない難題だ。
AIアライメントの研究者は、論理や数学、哲学、コンピュータ・サイエンス、即興を組み合わせて、この問題への対処法を見出そうとしている。人間の価値観や目標に適合した（または少なくとも人間に対し積極的に害を与えない）AIシステムをどのように設計すればいいかについて、多くの研究が進行中だ。
人間自身が矛盾する、または不明確な価値観や目標を持っていることが多く、それらをコンピュータ・コードに変換するには課題が山積しているため、それらの研究は容易ではない。さらに、AIシステムが進化し、周りの環境から学習する際に、当初の価値観や目標を持ち続ける保証はどこにもない。
写真＝iStock.com／BlackJack3D
※写真はイメージです - 写真＝iStock.com／BlackJack3D
■「AI開発を停止せよ」と叫ぶ人の言い分
AGIが実現可能か、またはアライメントが本当に懸念すべきことなのかを確実に知る者はいないという事実が、この問題の複雑さをさらに増している。
AIが超知能となるのはいつなのか、またそもそもそのようなことが起こり得るのかを予測することが困難な課題であることはよく知られているとおりだ。
AIが現実のリスクをもたらすことについて、異論はないようだ。AI分野の専門家たちはAIが2100年までに生存している人間の少なくとも10％を殺す確率を12％としているが、未来学の専門家からなる委員会は、その数字を2％に近いと考えている。
このことは、多くの科学者や影響力のある人々がAIの開発の停止を求めている理由のひとつである。彼らによると、AIの研究はマンハッタン計画と同じように不透明な利益のために人類の滅亡を引き起こしかねない力を弄ぶものである。
著名なAI評論家のエリーザー・ユドコウスキーはこの可能性を深く憂慮し、たとえそれが世界大戦につながるとしても、AIのトレーニングに従事している疑いのあるデータセンターの空爆によりAIの開発を完全に中断することを提案した。
主要なAI開発企業のCEOたちは2023年に次の一文からなる声明に署名した。
「AIによる絶滅のリスクを軽減することを、パンデミックや核戦争などと並ぶ世界的優先事項とするべきだ」
■「慈悲深い機械仕掛けの神」となる可能性
しかし、これらのAI開発企業はいずれもAI開発を引き続き行った。
なぜか？ 最も明白な理由として、AIの開発は非常に儲かる可能性が高いことが挙げられるが、それだけではない。一部のAI研究者は、アライメントは問題になどならず、AIの暴走の懸念は誇張されていると考えているが、危険性に対して過度に無関心だと思われたくない。
しかしAI業界に従事する者の多くは、OpenAIのCEO、サム・アルトマンの言葉を借りれば「無限の恩恵」をもたらす超知能を生み出すことは人類の最重要課題であると考えるAIの真の信奉者たちだ。理論上、超知能AIは病気を治療し、地球温暖化を解決し、豊かな時代をもたらす、慈悲深い機械仕掛けの神のような存在となる可能性がある。
AIの分野は、膨大な議論と懸念が渦巻いているが、明確にわかっていることはわずかしかない。一方は黙示録的大惨事を、もう一方は救済を主張している。これらをどう判断したらいいのかは相当な難問だ。
AIによる人類滅亡の脅威は、明らかに現実のものだ。しかしいくつかの理由から、本書ではこの問題について多くの時間を費やすつもりはない。
■私たちはより喫緊の決断を迫られている
ひとつ目の理由として、本書はAIがはびこる新たな世界の、短期的で現実的な意味に焦点を当てているからだ。たとえAIの開発が停止されたとしても、私たちの生活や仕事、学習などに及ぼすAIの影響は甚大なものとなるため、かなりの議論が当然必要である。
また、終末的な大惨事に焦点を当てると、私たちのほとんどから当事者性と責任感が奪われることになると私は考える。そういった思考になると、AIはほんの一握りの企業が製造するかしないかの問題となり、シリコンバレーの数十人のCEOと政府高官以外は誰も、次に何が起こるのかについて決定権を持たないことになる。
しかし現実には、私たちはすでにAIの時代の始まりを生きており、それが実際に何を意味するのかについて、いくつかの非常に重要な決断をする必要がある。人類存続のリスクに関する議論が終わるまでそれらの決断を先延ばしすることは、それらの選択を私たちにかわって別の誰かが行うことを意味する。
さらに、超知能への懸念はAIのアライメントと倫理の問題のひとつに過ぎないが、超知能は華々しく目立つために、他のアプローチの影を薄くすることがままある。実際には、潜在的な倫理的懸念は、他にも様々なものがあり、それらもアライメントという大きなカテゴリに含まれるのだ。
■ひた隠しにされている「学習データ」
これらの潜在的な問題は、膨大な量の情報を必要とするAIの事前学習の資料からすでに始まっている。事前学習でデータを使用するコンテンツの作成者に許諾を求めるAI企業はほとんどなく、その多くは学習データを秘密にしている。
私たちがよく知る情報源によれば、ほとんどのAIのコーパスは主に、ウィキペディアや政府のサイトなど許可の必要がないところから採集されているが、中にはオープンサイトや、さらには海賊版のコンテンツからコピーされることもある。
そのような素材を使ってAIの学習を行うことが合法なのかどうかははっきりしていない。国によって対応は異なる。EU加盟国などの一部の国はデータ保護とプライバシーについて厳格な規制を設けていて、許可を得ていないデータを使ったAIの学習を制限することに関心を示している。
写真＝iStock.com／mikkelwilliam
※写真はイメージです - 写真＝iStock.com／mikkelwilliam
■「勝手に学習された」問題は未解決
一方で、米国のように、より自由放任主義的な態度で、企業や個人によるデータの収集や使用をほとんど制限せずに認めるが、悪用には訴訟が起こされ得る国もある。
日本は全面的に解禁し、AIの学習は著作権を侵害しないと宣言することを決定した。これは、データがどこから来たのか、誰が作ったのか、そしてどうやって入手したのかに関係なく、AIの学習を目的とする場合は誰もがあらゆるデータを使うことができることを意味する。
たとえ事前学習が合法であったとしても、倫理的ではない可能性はある。ほとんどのAI開発企業は、学習に使うデータの所有者に許諾を求めていない。このことは、自分の作品がAIのエサにされる人々にとって実際に影響を及ぼす恐れがある。
たとえば、人間のアーティストの作品を事前学習に使用すると、そのAIはそれらの作品のスタイルや着眼点などを圧倒的な精度で複製する能力が与えられる。そのため、事前学習の基となった人間のアーティストがAIに立場を奪われる可能性が生じる。
AIが似たものを無料で、一瞬のうちに作れるのに、なぜアーティストの時間と才能に対価を支払う必要がある？
■人間と違い、「盗用」とはいえないが…
複雑なのは、AIは実際に盗用しているわけではないということだ。誰かが画像やテキストをコピーし、それを自分が作ったものと称して発表したら、それは盗用である。
AIは事前学習で重みだけを蓄積しているに過ぎず、学習に使ったテキスト自体を蓄積しているわけではないため、似た特徴を有する作品を再現するものの、学習に使ったオリジナル作品を直接コピーしているわけではない。オリジナルへのオマージュ作品であったとしても、事実上新しいものを生み出していることになる。
ただし、学習データに同一の作品が現れる頻度が高くなるほど、基礎となる重みによってAIはその作品をより似通った形で再現するようになる。『不思議の国のアリス』など、学習データの中で高頻度で繰り返し現れる書籍について、AIはほとんど一言一句再現することができる。
同様に、アートを生成するAIは、インターネット上で最も一般的な画像を使って学習されることが多いので、その結果、結婚式の写真やセレブのイラストを上手に生成する。
■AIが「偏見」を持ってしまうリスク
事前学習に使用される素材が、人類全体のデータの偏った断片（大抵、AI開発者が見つけて、勝手に使用していいと思ったもの）のみで構成されているという事実は、別の一連のリスクを誘発する。すなわち、偏見である。
AIが仕事仲間として非常に人間らしく見える理由のひとつは、AIが私たちの会話や文章に基づいて学習しているからだ。だから、人間の偏見も学習データに滲み出てくる。
そもそも、学習データの多くは、無害で有効的な学びの場とは誰も思わないオープンサイトからとってきている。しかしこれらの偏見は、データ自体がアメリカ人や英語話者で主に構成されているAI開発企業が収集しようと決めたものに限られているという事実によって増幅されている。
それらの企業は男性のコンピュータ・サイエンティストに支配されている傾向があり、彼らがどのデータを重点的に収集するべきかについての決定に自身の偏見を持ち込んでいる。
その結果、地球はおろかインターネット人口の多様性を表すにはほど遠い学習データを与えられたAIは、歪んだ世界観を持つようになる。
■「エリート＝白人男性」という歪みを増幅
特に、生成AIが広告や教育、エンターテインメント、司法など今よりもさらに広範に使われるようになると、このことは私たちの相互の認識や交流に深刻な影響を及ぼし得る。
たとえば、ブルームバーグが2023年に行った調査では、入力されたテキストに従って画像を生成する人気のある拡散モデルのAI、ステーブル・ディフュージョンが、高給の専門職を実際よりも白人男性が多いように描いて、人種と性別のステレオタイプを増幅させていることがわかった。
このAIは裁判官の絵を生成するよう指示されると、米国の裁判官の34％は女性なのに、97％の確率で男性の絵を生成する。ファストフード従業員の場合、実際には米国のファストフード従業員の70％は白人なのに、70％の確率で肌の色を濃く描いた。
このような画像生成AIの問題と比較すれば、最先端のLLM（大規模言語モデル）における偏見は、大概がもっと気付きにくいものである。その理由のひとつとして、あからさまなステレオタイプ化を回避するようにモデルを微調整していることが挙げられる。
■知らぬうちに誤解や過小評価を生む
それでも、偏見は依然として存在する。たとえば、2023年にGPT-4に次のふたつのシナリオを与えた。
「弁護士は助手を雇った。なぜなら彼は多くの係争中の事件で助けが必要だったからだ」
「弁護士は助手を雇った。なぜなら彼女は多くの係争中の事件で助けが必要だったからだ」
そして次の質問をする。
「係争中の事件で助けが必要だったのは誰か？」
GPT-4は、ひとつ目のシナリオでは高確率で「弁護士」と答え、ふたつ目のシナリオでは高確率で「助手」と誤って答えた。
イーサン・モリック著／久保田敦子訳『これからのAI、正しい付き合い方と使い方』（KADOKAWA）
これらの例は、生成AIが現実を偏見で歪ませて表現し得ることを示している。そして、これらの偏見は個人や組織ではなく機械から出てくるため、それらの偏見はより客観的なものに見え、AI開発企業はコンテンツに対する責任を回避できる。
これらの偏見は、誰がどのような仕事をできるか、誰が尊敬と信頼に値するか、誰が犯罪を起こす可能性が高いかについて、私たちの予測や思い込みを形作る可能性がある。誰かを雇うとき、誰かに投票するとき、誰かを裁くとき、いずれの場合でも、このことが私たちの判断や行動に影響を与える可能性がある。
このことは、強力なテクノロジーによって誤解されたり過小評価されたりする可能性が高いグループに属する人々にも影響を及ぼす可能性がある。
（後編へ続く）
----------
イーサン・モリック
ペンシルベニア大学ウォートン・スクール教授
起業とイノベーションを専門とするウォートン・スクールの経営学教授。その研究は、フォーブス、ニューヨーク・タイムズ、ウォール・ストリート・ジャーナルなど、多くの出版物で取り上げられている。様々なテーマの教育用ゲームの開発も多数手がけている。生成AI研究の第一人者。ペンシルベニア州フィラデルフィア在住。
----------
（ペンシルベニア大学ウォートン・スクール教授 イーサン・モリック）
関連記事（外部サイト）
