リコー、モデルマージの手法で700憶パラメータの日本語LLMを開発
2024年9月30日（月）18時29分 マイナビニュース
リコーは9月30日、米Meta Platformsが提供する「Meta-Llama-3-70B」の日本語性能を向上させた「Llama-3-Swallow-70B」をベースに、Instructモデルからベクトル抽出したChat Vectorとリコー製のChat Vectorをマージして日本語LLM（Large Language Models：大規模言語モデル）を開発したことを発表した。
昨今は企業が業務で活用できる高性能なLLMのニーズが高まっているが、LLMの追加学習はコストが高く、時間もかかるという課題がある。そこで、複数のモデルを組み合わせてより高性能なモデルをつくる「モデルマージ」が効率的な開発手法として注目されいる。
代表的な日本語のベンチマークとされる「ELYZA-tasks-100」において、今回リコーが開発したLLMはGPT-4と同等レベルのスコアを示したという。また、比較した他のLLMはタスクによっては英語で回答するケースもあったというが、リコーのLLMは全てのタスクに対して日本語で回答して高い安定性を示したとのことだ。
昨今は企業が業務で活用できる高性能なLLMのニーズが高まっているが、LLMの追加学習はコストが高く、時間もかかるという課題がある。そこで、複数のモデルを組み合わせてより高性能なモデルをつくる「モデルマージ」が効率的な開発手法として注目されいる。
代表的な日本語のベンチマークとされる「ELYZA-tasks-100」において、今回リコーが開発したLLMはGPT-4と同等レベルのスコアを示したという。また、比較した他のLLMはタスクによっては英語で回答するケースもあったというが、リコーのLLMは全てのタスクに対して日本語で回答して高い安定性を示したとのことだ。
関連記事（外部サイト）
