柳谷智宣の「ChatGPTプロンプトクリエイティブラボ」 第22回 メタ認知プロンプティングを使ってChatGPTの出力品質を向上させる
2024年4月1日（月）15時2分 マイナビニュース
スタンフォード大学のYuqing Wang氏とメタプラットフォームズのYun Zhao氏が発表した「Metacognitive Prompting Improves Understanding in Large Language Models(メタ認知プロンプティングによる大規模言語モデルの理解能力向上)」という論文では大規模言語モデル(LLM)の理解能力を向上させるための新しい手法が解説されています。論文は2023年8月に提出され、2024年3月20日に最新の改訂バージョンが提出されています。今回は、この論文を元に、メタ認知プロンプティングについて紹介します。→過去の「柳谷智宣のChatGPTプロンプトクリエイティブラボ」の回はこちらを参照。
○人のように内省させるメタ認知プロンプティング
メタ認知プロンプティングは人間の内省的推論プロセスを参考にして、自己評価するプロンプトを構築することで、ChatGPTが新たな洞察を引き出せるようにしています。
研究では、GPT-3.5やGPT-4、Llama2、PaLM2などの主要なLLMでさまざまなGLUE、SuperGLUE、BLUE、LexGLUEといったベンチマークを行いました。
その結果、一般的な言語理解タスクでも、専門分野に特化した言語理解タスクでも、メタ認知プロンプティングは人間の内省的推論プロセスを参考にして自己評価するプロンプトの方が一貫して優れた性能を出したそうです。まずは、論文内で例示されたプロンプトを紹介します。
プロンプトと出力
「What are the most beautiful beaches in the world?」と「What is the most beautiful beach?」の2つの質問がお互いの言い換えであるかどうかを判断せよ、というものです。
メタ認知プロンプティングはテキスト解釈、予備的判断、批判的評価、最終決定の確認、信頼度評価という5つのステップを踏みます。
.
○人のように内省させるメタ認知プロンプティング
メタ認知プロンプティングは人間の内省的推論プロセスを参考にして、自己評価するプロンプトを構築することで、ChatGPTが新たな洞察を引き出せるようにしています。
研究では、GPT-3.5やGPT-4、Llama2、PaLM2などの主要なLLMでさまざまなGLUE、SuperGLUE、BLUE、LexGLUEといったベンチマークを行いました。
その結果、一般的な言語理解タスクでも、専門分野に特化した言語理解タスクでも、メタ認知プロンプティングは人間の内省的推論プロセスを参考にして自己評価するプロンプトの方が一貫して優れた性能を出したそうです。まずは、論文内で例示されたプロンプトを紹介します。
プロンプトと出力
「What are the most beautiful beaches in the world?」と「What is the most beautiful beach?」の2つの質問がお互いの言い換えであるかどうかを判断せよ、というものです。
メタ認知プロンプティングはテキスト解釈、予備的判断、批判的評価、最終決定の確認、信頼度評価という5つのステップを踏みます。
.
関連記事（外部サイト）
