東大・西垣名誉教授がブームに警鐘、生成AIを信用してはいけない2つの理由

写真を拡大

　生成AIが世界のビジネスシーンに浸透し始めている。その一方で、信頼性やプライバシーに関する課題は依然として残されており、企業ごとに対応方針が大きく分かれている。私たちは今後、生成AIをどのように捉え、どのように活用するべきなのだろうか——。デジタル技術の研究開発に半世紀前から携わり、文理融合の観点からデジタル文明の行方を探ってきた情報学者、東京大学の西垣通名誉教授は、著書『デジタル社会の罠　生成AIは日本をどう変えるか』（毎日新聞出版）で、生成AIの本質を歴史的・思想的な観点から解き明かしている。前編となる今回は、AIの特徴と弱点、AI活用を進める上でのポイントについて聞いた。（前編／全2回）

■【前編】東大・西垣名誉教授がブームに警鐘、生成AIを信用してはいけない2つの理由（今回）
■【後編】AI時代の文化論、日本人はなぜ心の底で「AIが人間を超える」とは信じないのか
＜著者フォロー機能のご案内＞
●無料会員に登録すれば、本記事の下部にある著者プロフィール欄から著者をフォローできます。
●フォローした著者の記事は、マイページから簡単に確認できるようになります。
●会員登録（無料）はこちらから

「デジタル技術の負の側面」にも目を向けるべき

——昨今、チャットGPTを始めとする生成AIが脚光を浴びる中、多くの企業が生成AIの活用を進めています。そうした中で、著書『デジタル社会の罠 生成AIは日本をどう変えるか』（毎日新聞出版）では、生成AIブームに警鐘を鳴らされていますが、どのような理由があるのでしょうか。

西垣通氏（以下敬称略）　私はこれまで約50年間、ICTやAIといったデジタル技術の研究・開発に携わってきました。1970年代には日立製作所でコンピュータ研究開発に従事し、80年代にはスタンフォード大学の客員研究員として最先端のAI技術を学びました。その後に大学教員となり、90年代以降はフランスでの在外研究を含め、文理融合の観点からデジタル文明の思想的・学術的研究を続けてきました。

　そうした私の視点から見ると、最近の日本でのデジタル技術やAIの捉え方は表層的だと感じることがあります。技術の細部への関心が強く、「手っ取り早く便利な技術を活用するにはどうしたらいいか」といったことばかり目が向けられ、本質を捉えていないように思えるのです。

　デジタル技術やAIを社会インフラとして活用し、社会の発展に役立てるためには、技術的・実用的な側面だけではなく、文化的・思想的な側面の理解や洞察が欠かせません。

　これは決して一方的に現状を批判しているわけではなく、私自身が若い頃、技術的・実用的な面にばかりに関心が向いていたことの反省を踏まえた考えです。その意味で、過去の自分に対する問題意識ともいえます。

　そこで本書では、私自身の実経験を踏まえながら、大局的・歴史的・思想的な観点から「デジタル技術の本質とは何か」「私たちは、AIとどう向き合えばいいのか」といったテーマについて記しています。また、本書を通じて「なぜ、日本社会はデジタル化に乗り遅れてしまったのか」「現状を乗り越え、未来に向けてどのようにデジタル化に取り組めばいいのか」といった問題意識を皆さんと共有したいと考えています。

AIを「信用してはいけない」2つの理由

——著書『デジタル社会の罠』では、AIの可能性や展望だけでなく、AIの弱みについても述べられています。デジタル技術を文理両面から研究されてきた立場から見ると「AIの弱点」はどのようなことでしょうか。

西垣　昨今のAI技術には、2つの大きな弱点があります。

　一つは、AIは文章の仕組みを理解することはできるが「意味を理解することはできない」という点です。技術的にいうと、AIの言語処理は「シンタクス」（文法、表記法、構文規則・ルール）に着目した処理であり、「セマンティクス」（意味、意図、文脈、ニュアンス）を扱うことはできない、ということです。ですから、発言の奥にある意図や文脈、レトリカルな皮肉や逆説を理解できないのです。

　たとえば、私たち人間が「それは、いいですね」「素晴らしいですね」と表面的には褒めていても、真意は真逆ということもありますよね。しかし、AIはその真意を理解することができません。そのため、見当違いの文章を一見もっともらしく生成してしまうのです。この点はAIの弱点であり、危険性でもあります。

　もう一つの弱点は、AIは過去のデータを処理して答えを出すため「前例のない新しい状況に対処できない」という点です。たとえば、コロナ禍が始まる前の2019年に、「新型コロナウイルスの感染爆発に対し、私たちはどう行動すればよいか」と質問してみても、有益な答えは出てこないわけです。

　本来、人間の「知」とは、これまで遭遇したこともない苦しい状況の中でも「何とか生きのびたい」という強い本能の中から生まれます。しかし、AIのデータ処理から生まれる「知」は、そうではありません。いかなる状況においても何とか解を見出して行動しようとする人間とは大違いです。

　つまり、AIは安定した状況の下で効率良く解を求めることに役立つ一方、真の意味での「人間が生きるための知」を生み出すことはできないのです。それが人間とAIの大きな違いであり、AIの限界だと思います。

　では、そういった特性を持つAIに対して、私たちはどう向き合えば良いのでしょうか。一言でいえば、「問題解決をAIに丸投げしない」ということです。AIが出した解を鵜呑みにせず、必ず人間がチェックし、最終的な決断は人間が責任をとるべきです。AIは、選択肢を提示し、作業効率を上げるためのサポート技術にすぎません。

　私たちは便利な技術があるとそれに頼りがちですが、思考を止めてはいけません。AIを利用する際には、技術的な弱点を理解した上で、「最終的には自分自身が責任を取るのだ」という意識・姿勢が必要です。

現代のAIが「正しさ」以上に追求していること

——AIは決して新しいデジタル技術ではなく、かなり以前から研究開発されていたと聞きます。これまでのAIの歴史的変遷を踏まえると、現在のAIにはどのような特徴があるのでしょうか。

西垣　人間と同様に知能が宿る機械として、AI（Artificial Intelligence）という言葉が用いられたのは、いまから70年も前のことです。コンピュータが誕生した1950年代から研究が重ねられてきた技術ですから、AI自体は決して目新しいものではありません。

　この時期は第1次AIブームと呼ばれていますが、コンピュータに三段論法のような「論理的機能」を持たせることが中心テーマでした。しかし、その応用分野はパズルやゲームという狭い範囲に止まっていたため、第1次AIブームはたちまち消滅してしまいました。

　第2次ブームは1980年代のことです。この時は、様々な情報を組み合わせて「正しい解」を自動的に求めることに重点が移りました。たとえば、医学的な知識（治療結果）や法律的な知識（判例）などのデータをコンピュータのメモリに蓄え、自動推論（形式的論理操作）により素早く「正しい解（診断や裁定）」を出させる、というものでした。

　しかしながら、実際にはそう簡単に「正しい解」を出すことは難しく、多くの間違いが起こりました。そのため、「間違っていた時に誰が責任をとるんだ」という責任問題が論じられるようになり、20世紀末にはこのブームも終焉を迎えました。

　そして、2010年代半ばに起こったのが、昨今の第3次AIブームです。この背景にあるのは、パターン認識の効率を上げる深層学習（ディープラーニング）というデジタル技術の進化です。深層学習自体は以前から存在していましたが、膨大な計算が必要になるため、実用化は進んでいませんでした。しかし、ハードウェアとソフトウェアの画期的な進歩により急速に実用化が進んだのです。

　第3次ブームのAI、特に生成AIの最大の特徴は、これまでのAIが追求してきた「正確さ」よりも「親しみやすさ」に重点が置かれている点です。つまり、内容が少々間違っていても、わかりやすくて説得力のある解が求められているのです。そのため、外国語の学習や文章の要約において「多少表現が間違っていても、全体がおよそ理解できれば役立つ」という分野には、いまのAIは十分活用できます。

　しかし、それが「唯一の正しい解」だと思ってしまうと、間違った判断や行動につながる恐れがあります。AIに詳しい研究者の中には、「現在のAIは、人を巧みに騙すテクニックだ」と悪口を言う人もいるほどです。

　この背景にあるのは、技術的な問題ではなく、ユーザーの要求水準の変化でしょう。だからこそ、先ほどのAIの弱点への対処と同様、いまのAIは「必ずしも正しくない」ことを前提として利用する姿勢が重要です。

【後編に続く】AI時代の文化論、日本人はなぜ心の底で「AIが人間を超える」とは信じないのか

■【前編】東大・西垣名誉教授がブームに警鐘、生成AIを信用してはいけない2つの理由（今回）
■【後編】AI時代の文化論、日本人はなぜ心の底で「AIが人間を超える」とは信じないのか
＜著者フォロー機能のご案内＞
●無料会員に登録すれば、本記事の下部にある著者プロフィール欄から著者をフォローできます。
●フォローした著者の記事は、マイページから簡単に確認できるようになります。
●会員登録（無料）はこちらから

筆者：三上 佳大