リッジアイ、目的特化型の軽量日本語LLM開発で高精度の検証結果
マイナビニュース2024年3月27日(水)12時31分
AI・ディープラーニング技術開発・コンサルティング事業を展開するRidge-i(以下略、リッジアイ)は3月26日、2023年7月より開発を進める目的特化型の大規模言語モデル(LLM:Large language Models)が、日本語ベンチマーク「JCommonsenseQA」での検証で、精度60ポイント以上を安定して達成したことを発表した。開発が進められているLLMは、研究開発環境にさくらインターネットのGPU環境を採用。研究開発チームには、自然言語AI領域に強みを持つバオバブ、アドバイザリーとしてカーネギーメロン大学准教授のGraham Neubig氏が参加、日本語に特化していること等の要件に適合する目的特化型のLLMを目指している。
○日本語ベンチマーク「JCommonsenseQA」での検証で精度60ポイント以上を出力
LLMは、学習する言語モデルの機能を主に、ニュースなどの時事情報の読解に特化して作成。言語モデルには、与えられたテキスト文の次の単語やトークンを予測する因果的言語モデル(CLM:causal language model)、内部構造にはTransformer方式を採用し、モデルの学習にはEluther AI社が公開している「GPT-NeoX」を使用。学習データには、基幹となる大規模クローリングデータとAPI経由で取得したWikipedia、ニュースサイト、国会議事録などのデータを活用、独自の前処理と配分調整でデータを統合して使用している。
JGLUE(Japanese General Language Understanding Evaluation:日本語言語理解ベンチマーク)の「JCommonsenseQA」「JNLI」「MARC-ja」「JSQuAD」の4つで実施された。中でも5択の選択式問題の解答で常識的な日本語の理解度を図る「JCommonsenseQA」において、両モデルで精度60ポイント以上を安定して出力する検証結果を得ることができたという。
2023年1月時点でStability AI社がGitHubで公開している「JGLUE リーダーボード」との比較において、軽量モデル(モデルサイズ:1.3B、2.7B)で国内主要モデルを超える数値となり、Metaの「Llama2-13B」の74.89に次ぐ成績となる。同社は軽量ながらこの精度を達成した理由として、学習用データ配分の工夫がそれにつながったものとコメントしている。
○日本語ベンチマーク「JCommonsenseQA」での検証で精度60ポイント以上を出力
LLMは、学習する言語モデルの機能を主に、ニュースなどの時事情報の読解に特化して作成。言語モデルには、与えられたテキスト文の次の単語やトークンを予測する因果的言語モデル(CLM:causal language model)、内部構造にはTransformer方式を採用し、モデルの学習にはEluther AI社が公開している「GPT-NeoX」を使用。学習データには、基幹となる大規模クローリングデータとAPI経由で取得したWikipedia、ニュースサイト、国会議事録などのデータを活用、独自の前処理と配分調整でデータを統合して使用している。
JGLUE(Japanese General Language Understanding Evaluation:日本語言語理解ベンチマーク)の「JCommonsenseQA」「JNLI」「MARC-ja」「JSQuAD」の4つで実施された。中でも5択の選択式問題の解答で常識的な日本語の理解度を図る「JCommonsenseQA」において、両モデルで精度60ポイント以上を安定して出力する検証結果を得ることができたという。
2023年1月時点でStability AI社がGitHubで公開している「JGLUE リーダーボード」との比較において、軽量モデル(モデルサイズ:1.3B、2.7B)で国内主要モデルを超える数値となり、Metaの「Llama2-13B」の74.89に次ぐ成績となる。同社は軽量ながらこの精度を達成した理由として、学習用データ配分の工夫がそれにつながったものとコメントしている。
「開発」をもっと詳しく
「開発」のニュース
-
プロ仕様の撥水力を実現した異次元性能の超撥水スプレー。さよならシリーズ新商品「さよならビッショリ—」Makuakeで数量限定発売5月10日18時16分
-
再生可能エネルギー開発を後押しする大容量パワーコンディショナー系統連系シミュレーター電源装置開発5月10日18時16分
-
シンガポールにおける冷凍冷蔵倉庫開発事業に参画5月10日18時16分
-
「ヨガインストラクターjp(R)W資格取得講座」をリニューアルしました。(株式会社新生技術開発研究所 本社:福岡県、代表取締役:石丸大輔)5月10日18時0分
-
月周回有人拠点「ゲートウェイ」向け宇宙用リチウムイオンバッテリーを受注5月10日17時46分
-
個人向け次世代トランシーバーアプリBuddycom Personal(バディコム パーソナル)を提供・CM放映開始5月10日17時46分
-
LLMOpsプラットフォーム「Dify」に特化した生成AIシステム受託開発プランの提供を開始5月10日17時46分
-
\新開発/今までにない常識を覆す!最新最先端の4wayアウトドアワゴン3種類販売開始!最大容量驚きの310L!2wayハンドルで大容量でも移動ラクチン。2024年5月配送販売開始。5月10日17時46分
-
くふうAIスタジオ、営業・販促支援ツール「チラシアナライザー」に掲載期間、エリア、チェーン別に検索できる「チラシ検索」機能を追加5月10日17時46分
-
スパコン「富岳」使い日本語理解力の高い生成AI技術開発、無償公開…東工大や富士通など5月10日17時45分
ITニュースランキング
-
1デルで情報漏えいか 海外では4900万件流出との報道も 【ユーザーに届いたメール全文掲載】 ITmedia NEWS
-
2太陽フレア、3日間で5回の“Xクラス” NICT「早ければ10日午後6時ごろから影響」 ITmedia NEWS
-
3ソフトバンク版iPad Pro(M4)/iPad Air(M2)の価格が決定、新トクするサポート(プレミアム)にも対応 マイナビニュース
-
4「やっとトンネルを抜けた」と髙橋社長 - KDDIが2024年3月期決算を発表、新事業戦略も策定 マイナビニュース
-
5イオンモバイルが異例の“200GBプラン”を提供する狙い 金融連携サービスも強化で大手キャリアに対抗しうる存在に ITmedia Mobile