ABEJAが構築した7Bの小型LLM「ABEJA Qwen2.5-7B Model」が同規模LLMにおける最高水準の精度に到達

　
[画像1: https://prcdn.freetls.fastly.net/release_image/10628/180/10628-180-e92fcdec4a19125f4808007ca0c4a2b4-975x510.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
　人とAIの協調により「ゆたかな世界を、実装する」株式会社ABEJA（本社：東京都港区、代表取締役CEO：岡田 陽介、以下「ABEJA」）は、「GENIAC（Generative AI Accelerator Challenge）」※1の元、国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が進める「ポスト5G情報通信システム基盤強化研究開発事業※2／ポスト5G情報通信システムの開発／競争力ある生成AI基盤モデルの開発（助成）」（以下「競争力ある生成AI基盤モデルの開発」）に採択され、LLMおよび周辺技術の研究開発を進めております。
　このたびABEJAは、本プロジェクトにおいて構築した7Bの小型LLM「ABEJA Qwen2.5-7B Model」が汎用言語性能指標であるMT-Benchにおいて、最高水準かつOpenAIの「GPT-3.5 Turbo」などを超える精度に到達いたしましたことをお知らせいたします。

　ABEJAは、「ゆたかな世界を、実装する」を経営理念に掲げ、ミッションクリティカル業務へのAI導入支援のため、基盤システムとなるABEJA Platformの開発・導入・運用を行う「デジタルプラットフォーム事業」を展開しています。ABEJA Platformは、ミッションクリティカル業務における堅牢で安定した基盤システムとアプリケーション群であり、生成AIをはじめとする最先端技術による運用が人とAIの協調により実現可能です。ABEJAは、2012年の創業時よりABEJA Platformの研究開発を進めており、顧客企業からの信頼のもと、数多くの導入を進めることで「テクノロジーの力で産業構造を変革する」ミッションに取り組んでいます。

　ABEJAは、LLMの社会実装における「精度とコストのトレードオフ」の課題解決に向け、LLMおよび周辺技術の研究開発を進めております。
　GENIACにおいては、2024年2月より第一期、第二期と連続で採択され、第二期では高い精度を有する50B以下および10Ｂ以下の2つの小型化モデルの開発に取り組み※3､2025年1月に「GPT-4」を上回る性能となる32Bのモデルを構築したことを発表いたしました。
　URL：https://www.abejainc.com/news/20250127/1
　
　このたびABEJAは、本プロジェクトの一環である10B以下の小型モデルの開発に関して、汎用的言語性能を図る指標であるMT-Benchで、同規模のモデルにおける最高水準かつOpenAIの「GPT-3.5 Turbo」などを超える精度に到達した、7Bの小型モデル「ABEJA Qwen2.5-7B Model」を構築いたしました。
　上記の指標結果に基づき、ABEJAは「ABEJA Qwen2.5-7B Model」は、提案書の作成や論理推論、情報抽出などの特定理系タスクにおいて、実運用可能な性能と運用コストの両立を実現したモデルであると認識しております。
　また、「ABEJA Qwen2.5-7B Model」は、量子化した上でエッジデプロイした際に、複数のモデルを同時に併用することも可能にするため、ビジネスプロセスに適用した際の利便性が大幅に向上します。
　なお、ABEJAは、「ABEJA Qwen2.5-7B Model」を2025年1月に構築した32Bのモデルをベースにした「蒸留」の手法を用いて構築いたしました。「蒸留」とは、大きなモデルが持つ処理能力を小型モデルに移管する技術で、これにより、計算リソースを削減しながら、元のモデルに近しい精度を保つことが可能となります。
　ABEJAは、今後、LLMが抱える「コストと精度のトレードオフ」に更なるイノベーションを起こすべく、限られたリソース下での推論速度と精度のさらなる向上に向けて、小型モデルの構築アプローチを含める周辺技術の研究開発を推進してまいります。

MT-Benchにおける主なモデルの総合スコア
[画像2: https://prcdn.freetls.fastly.net/release_image/10628/180/10628-180-f88594dfc9b24588454e0d20db42e6eb-491x298.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]出典：Nejumi Leaderboard3




　当該モデルについては以下Hugging Faceで公開しております。
　Hugging Face：https://huggingface.co/abeja/ABEJA-Qwen2.5-7b-Japanese-v0.1

　ABEJAは、引き続き、LLMの社会実装を推進し、ABEJAの企業理念である「ゆたかな世界を、実装する」の実現に努めてまいります。

　この成果は、NEDOの助成事業の結果得られたものです。

※1　GENIAC（Generative AI Accelerator Challenge）：日本の生成AI の開発力強化を目的とした経済産業省およびNEDOが推進するプロジェクト。
※2　ポスト5G情報通信システム：第5世代移動通信システム（5G）より更に超低遅延や多数同時接続といった機能が強
化されたポスト5Gに対応した通信システムを指す。
https://www.meti.go.jp/policy/mono_info_service/joho/post5g/index.html
※3　第一期における当社発表および成果発表は以下よりご確認ください。
https://www.abejainc.com/news/20240202/1
https://www.youtube.com/watch?v=70nYBgBxCdw
第二期における当社発表は以下よりご確認ください。
https://www.abejainc.com/news/20241010/1


■ 株式会社ABEJAについて
ABEJAは、「ゆたかな世界を、実装する」を経営理念とし、「ABEJA Platform」を基盤に顧客企業の基幹業務のプロセスを変革し、ビジネスの継続的な収益成長の実現に伴走する「デジタルプラットフォーム事業」を展開しています。2012年の創業時よりABEJA Platformの研究開発を進めており、これまで多種多様な業界・業態の300社以上のデジタル変革をABEJA Platform上で実現してきました。また、「Human In the Loop」をはじめとする高度なノウハウやアプローチを用いて、デジタル変革に必要不可欠な「人とAIの協調」を実現し、戦略的かつ効率的に顧客の基幹業務を変革し、さらにはビジネスモデルの革新に取り組んでいます。

本社：東京都港区三田一丁目1番14号 Bizflex麻布十番2階
設立：2012年9月10日
代表者：代表取締役CEO 岡田 陽介
事業：デジタルプラットフォーム事業
URL：https://abejainc.com