Axcxept、疑似GRPO/PPOアプローチで短時間・低コストでの日本語LLM性能を向上

独自トレーニングシーケンスを用いて、短時間・低コストでベースモデルの特化性能向上を達成

[画像1: https://prcdn.freetls.fastly.net/release_image/129878/17/129878-17-87dfe41c8e2167297b462cb585678610-1536x1024.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]

Axcxept株式会社（本社：北海道札幌市）は、独自研究による疑似GRPO/PPOアプローチを活用し、短時間かつ低コストで日本語LLMの性能向上を実現しました。今回、その成果をもとにしたオープンウェイトモデル「EZO2.5-gemma-3-12b-it-Preview」を公開しました。

モデルページ：
https://huggingface.co/AXCXEPT/EZO2.5-gemma-3-12b-it-Preview

短時間・低コストで実現する高性能化
Axcxeptは、独自研究によるファインチューニングプロセスを用い、わずか数時間の学習と少量の追加データ（約3,000件）で、ベースモデルの日本語特化性能を向上させました。疑似GRPO/PPOの要素を取り入れた効率的なトレーニングにより、従来の高コスト・長時間学習を必要とせず、ベンチマークスコアの改善を実現しました。

ベンチマーク結果から見る成果
「EZO2.5-gemma-3-12b-it-Preview」は、Japanese MT BenchやElyza Tasks100といった評価基準でベースモデルを大幅に上回る性能を達成しました。一部の評価項目では、14B,32B,72Bといった上位モデルに迫る結果を示し、短期間での性能向上を実証しています。

[画像2: https://prcdn.freetls.fastly.net/release_image/129878/17/129878-17-12e476ca921cda6c896b7f53c0b3ca49-993x377.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]Japanese MT BenchはLLM性能を測定する広く知られた、MTBenchの日本語性能版。Elyza Tasks 100は、日本語性能の測定を目的としたELYZA社が提供する、ベンチマークデータセット。ジャッジを行ったのは、Google Gemini 2.0および、gpt-4oに基づく。注意：LLMによる自動評価。温度：0.0, top_p：1.0による評価に基づく。
今後の展望
Axcxeptは今後も、効率的なモデルファインチューニング技術の研究開発を進め、より多くの分野で活用可能なLLMの開発を目指します。この技術は、限られたリソース環境でも高い成果を得られる可能性を提供し、AI研究に新たな選択肢をもたらします。

[画像3: https://prcdn.freetls.fastly.net/release_image/129878/17/129878-17-af2d879f9e97e1fd1508fc0c6e962fca-1500x500.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
AI×Human Synergy北海道から世界へ
Axcxept( アクセプト )は、AIに強い企業、個人の創出を支援し、真に強い日本を地方から創るために設立したITスタートアップです。

AIを用いたシステムの開発、システムの基盤・環境構築、人材育成、講義など、AIやシステムにかかわるすべての課題を、当社が包括的に支援いたします。


【本件に関するお問い合わせ】
Axcxept株式会社
Email：info@axcxept.com
X：@hokazuya（ホーダチ）[https://x.com/hokazuya]