ELYZA、論理的思考能力を強化した「Reasoning Model」を開発し公開

ELYZAは5月1日、日本語における論理的思考能力を強化したLLM（Large Language Models：大規模言語モデル）「ELYZA-Thinking-1.0-Qwen-32B」を開発し、商用利用可能として一般公開したことを発表した。
同モデルはOpenAIの「o1 / o3」シリーズや、DeepSeekの「DeepSeek-R1」と同様に、思考の連鎖（CoT：Chain of Thought）を通して複雑な論理的思考を行う能力を強化した「Reasoning Model」。同社は今回の開発過程で得られた「Shortcut Model」も公開しており、各モデルはApache2.0ライセンスで公開され、研究・営利目的での利用が可能。
Reasoning Model：ELYZA-Thinking-1.0-Qwen-32B
Shortcut Model：ELYZA-Shortcut-1.0-Qwen-32B / ELYZA-Shortcut-1.0-Qwen-7B
○「ELYZA-Thinking-1.0-Qwen-32B」の概要
「ELYZA-Thinking-1.0-Qwen-32B」は、アリババが公開している非Reasoning Model「Qwen2.5-32B-Instruct」に対して、日本語追加事前学習と長い思考過程を伴うデータによるSFT（Supervised Fine Tuning）を実行することで、日本語における論理的思考能力を向上させている。
同モデルは320億パラメータと比較的軽量でありながら、同じ「Reasoning Model」であるOpenAIの「o1-mini」に匹敵する性能を達成したという。特に数学系のベンチマークにおいては、日英両方で「o1-mini」を上回るスコアを達成した。
同社によると、既に高度な論理的思考能力を備えた「Reasoning Model」に対して日本語追加学習を行うのではなく、「非Reasoning Model」に対して新たにその能力を付与した点が特徴。
具体的には、プロ棋士を破ったことで話題となったAlphaGo（アルファ碁）でも使用されているMCTS（Monte Carlo Tree Search：モンテカルロ木探索）に着想を得たアルゴリズムにより、思考過程を伴う学習データの探索的生成を行い模倣学習を行った。
○「ELYZA-Shortcut-1.0-Qwen-32B/7B」の概要
「ELYZA-Shortcut-1.0-Qwen-32B/7B」は、「Reasoning Model」が深く思考して辿り着いた回答を反射的に答えられるよう暗記したモデル。具体的には、「Reasoning Model」の学習用に探索された多数の「問題・思考過程・回答」のセットから思考過程を取り除いた問題と回答のペアを使用して、SFTを行うことで開発された。
同社はこのモデルを、「Reasoning Model」の思考過程をショートカットして回答を返すように訓練されたモデルという意図を込め、「Shortcut Model」と呼んでいる。「Shortcut Model」については、320億パラメータのモデルと70億パラメータのモデルの2種を公開。
320億パラメータの「Shortcut Model」は、320億パラメータと軽量ながら同じ「非Reasoning Model」で商用のAPI（Application Programming Interface）が展開されているOpenAIの「GPT-4o」に匹敵する性能を達成している。また、「GPT-4」に対してはJHumanEval以外の全てのベンチマークで上回る結果を示した。