厳密さが要求されるビジネス用途で正答率90％超を実現へ ストックマーク 1,000億パラメータ規模の独自LLM開発を開始
2024年2月2日（金）12時47分 PR TIMES
〜ポスト5G情報通信システム基盤強化研究開発事業に採択〜
[画像1: https://prcdn.freetls.fastly.net/release_image/24407/154/24407-154-c12b71e070d9cf6528e2864e825410c4-1024x536.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
自然言語処理技術を活用した情報収集/分析SaaS「A Series」を提供するストックマーク株式会社(本社：東京都港区、社長：林 達、以下：ストックマーク)は、国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）の「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発（助成）」に係る公募に採択されました。
本事業では、公開済の大規模言語モデル(Large Language Model、以下：LLM)を用いずフルスクラッチ※1で事前学習を行い、ビジネス領域に強くハルシネーション※2を大幅に抑止(抑止率90％以上)した1,000億パラメータ規模の独自LLMを開発することを目標にしております。
ホワイトカラーの業務の内、65%もの時間が文章を活用した情報収集や資料作成に充てられている※3ため、生産性向上を実現する上でLLMへの期待は日に日に高まっております。一方、現在公開されている多くのLLMでは、ビジネス現場において不正確かつ信頼性に欠けた出力をしてしまい、限定的な活用に留まっております。
ストックマークは、多くのホワイトカラーが働くエンタープライズ企業300社からのフィードバックを得て、7年間蓄積してきたビジネスデータとデータクリーニング技術、構造化技術を活用することにより、ビジネス現場でも信頼できるLLMを開発してまいります。
本事業の開発期間は、2024年2月15日から8月15日までの6か月間を想定しており「事前学習用の学習データセット及び評価データセットの構築」、「基盤モデルのフルスクラッチ開発及び当該基盤モデルの評価」、「基盤モデルに対する追加事前学習の実施及び当該基盤モデルの知識獲得評価の完了」を目指しております。
※1：開発手法の1つでもあり、システムを作る際に、既存のモデルを用いずにゼロから組み上げる開発手法
※2：人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象
※3：IDCの調査(Bridging the information Worker Productivity Gap in Western Europe:
New Challenges and Opportunities for IT, IDC)によると、
ホワイトカラーの作業時間の大部分は、(a)情報収集、(b)資料検索、(c)資料作成に費やされており、
(a)〜(c)の作業の合計で平均一人当たり週26時間・労働時間の約65％が費やされている
また本事業は、経済産業省およびNEDOが推進する「GENIAC(Generative AI Accelerator Challenge)プロジェクト」として、計算資源の提供支援や、関係者間の連携促進、対外発信等も積極的に行ってまいります。
GENIAC詳細：https://www.meti.go.jp/press/2023/02/20240202003/20240202003.html
◆開発研究の背景
基盤モデルの活用がビジネス現場おいて限定的となってしまっているのは、既存の基盤モデルは、ビジネスや最新の時事話題関連のドメインに対する学習データ量が不足あるいは未注力分野となっており、結果として当該ドメインでの出力が不正確であり信頼性に欠けているとユーザが感じていることが大きな要因です。
また、説明責任が伴わない個人やカジュアルなシーンでの利用と異なり、ビジネスシーンでは特に正確性が重要視されるにも関わらず、ビジネスユーザーには正確性が実用レベルでないと判断されていることが実活用を阻害する大きな要因となっております。
そのため、ビジネスシーンでも耐え得る正確性の高い出力を達成するために、本事業では、ビジネスや最新の時事話題関連の質問に対しても、ハルシネーションが大幅に抑止(抑止率90%以上を目標)された基盤モデルの開発を目指します。
また、ビジネスシーンにおいては情勢が日々変化していくため、最新の時事情報の活用が重要な要素となるため、最新の時事話題を随時アップデートできるよう、追加事前学習による新知識が獲得可能な基盤モデルの構築を行います。
本事業での学習を収束させ、ハルシネーションを大幅に抑止することができれば、ビジネスドメインという高い言語理解力が求められる知識領域においても、基盤モデルが有効であるという画期的な事実の証明が可能になります。また、最大のビジネス知識数と他ドメインでも実証されている水準の実用レベルの出力の正確性を担保できる基盤モデルを開発できることにより、基盤モデルの活用が停滞しているビジネスドメイン/産業界全般における基盤モデルの利用を大幅に底上げできると考えております。
◆ストックマークのLLMに関する活動
ストックマークはこれまで、国内におけるLLM開発のトップランナーとして日本語及びビジネス領域に強い純国産LLMの開発研究を行ってまいりました。
2023年8月に14億パラメータの日本語LLMを公開、同年10月には130億パラメータの日本語LLMを公開し、ストックマークのプロダクトへの実装や、製造業における研究開発職に向けて新規用途探索の高速化・高精度化を目指した実証実験を行っております。
当社独自の高いAI技術に裏打ちされたプロダクトの成長
テクノロジーの急速な発展や社会の複雑化により、有益な情報を効率的に獲得し、ビジネスに活かすことが意思決定においてますます重要になっております。ストックマークは「自然言語処理」をコア技術に据え、東北大学 自然言語処理研究グループや、産業技術総合研究所、理化学研究所など、産学連携で共同研究や技術開発を行っております。
研究開発に留まらない大手企業を中心にした強固な顧客基盤
ストックマークが提供する「A Series」は、国内GDPの20%を占める、日本の最大産業である製造業企業様を中心に、国内の大手企業に深く浸透しており、日経225にノミネートされる企業様の約25%にご利用いただいていております。研究開発に留まらず、新しい価値づくりを実現するための情報活用に関する課題を着実に解決し、信頼と実績を積み重ねてまいりました。
◆取締役CTO 有馬 幸介のコメント
[画像2: https://prcdn.freetls.fastly.net/release_image/24407/154/24407-154-f46d00988e6686d11a82bd769491f34d-3900x3900.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
生成AIの精度は専門家でさえも予想できなかった水準で爆発的に向上しましたが、ハルシネーション(=AIが事実に基づかない情報を生成する現象)の抑制という社会実装上の最後の技術的難問が我々の前に立ちはだかっております。
特に製造業のデジタル化という文脈においては、スマートファクトリーによる現場技術者業務のデジタル化の推進と併せて、ホワイトカラー技術者の業務の高度化や、技術ノウハウのデジタル化を実現していくことがますます重要となってきております。
ハルシネーションの大幅抑制が達成可能なLLMを本事業で実現し、この社会課題に立ち向かい、産業界における新しい働き方のスタンダードを確立できればと考えております。
◆ストックマーク株式会社について
ストックマーク株式会社は「価値創造の仕組みを再発明し、人類を前進させる」をミッションに掲げ、最先端の自然言語処理技術を活用し、多くの企業の事業創造活動を支援しています。
当社は自然言語処理技術を活用し、国内外の約35,000サイトのビジネスニュースを分類しています。業務に直結する情報をAIが届けることにより、組織の情報感度を高め、事業アイディアの着想と組織内での発展を促す「Anews(エーニュース)」、AIが組織や業務に合わせて必要な情報を構造化し、示唆が得られる市場調査サービス「Astrategy(エーストラテジー)」を通じて企業の新たな価値創造をサポートします。
会社名 ：ストックマーク株式会社
所在地 ：東京都港区南青山一丁目12番3号 LIFORK MINAMI AOYAMA S209
設立 ：2016年11月15日
代表者 ：代表取締役CEO 林 達
事業内容：自然言語処理を活用した、事業機会の探索と意思決定の支援を行う
サービスの開発・運営
URL ：https://stockmark.co.jp/
[画像1: https://prcdn.freetls.fastly.net/release_image/24407/154/24407-154-c12b71e070d9cf6528e2864e825410c4-1024x536.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
自然言語処理技術を活用した情報収集/分析SaaS「A Series」を提供するストックマーク株式会社(本社：東京都港区、社長：林 達、以下：ストックマーク)は、国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）の「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発（助成）」に係る公募に採択されました。
本事業では、公開済の大規模言語モデル(Large Language Model、以下：LLM)を用いずフルスクラッチ※1で事前学習を行い、ビジネス領域に強くハルシネーション※2を大幅に抑止(抑止率90％以上)した1,000億パラメータ規模の独自LLMを開発することを目標にしております。
ホワイトカラーの業務の内、65%もの時間が文章を活用した情報収集や資料作成に充てられている※3ため、生産性向上を実現する上でLLMへの期待は日に日に高まっております。一方、現在公開されている多くのLLMでは、ビジネス現場において不正確かつ信頼性に欠けた出力をしてしまい、限定的な活用に留まっております。
ストックマークは、多くのホワイトカラーが働くエンタープライズ企業300社からのフィードバックを得て、7年間蓄積してきたビジネスデータとデータクリーニング技術、構造化技術を活用することにより、ビジネス現場でも信頼できるLLMを開発してまいります。
本事業の開発期間は、2024年2月15日から8月15日までの6か月間を想定しており「事前学習用の学習データセット及び評価データセットの構築」、「基盤モデルのフルスクラッチ開発及び当該基盤モデルの評価」、「基盤モデルに対する追加事前学習の実施及び当該基盤モデルの知識獲得評価の完了」を目指しております。
※1：開発手法の1つでもあり、システムを作る際に、既存のモデルを用いずにゼロから組み上げる開発手法
※2：人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象
※3：IDCの調査(Bridging the information Worker Productivity Gap in Western Europe:
New Challenges and Opportunities for IT, IDC)によると、
ホワイトカラーの作業時間の大部分は、(a)情報収集、(b)資料検索、(c)資料作成に費やされており、
(a)〜(c)の作業の合計で平均一人当たり週26時間・労働時間の約65％が費やされている
また本事業は、経済産業省およびNEDOが推進する「GENIAC(Generative AI Accelerator Challenge)プロジェクト」として、計算資源の提供支援や、関係者間の連携促進、対外発信等も積極的に行ってまいります。
GENIAC詳細：https://www.meti.go.jp/press/2023/02/20240202003/20240202003.html
◆開発研究の背景
基盤モデルの活用がビジネス現場おいて限定的となってしまっているのは、既存の基盤モデルは、ビジネスや最新の時事話題関連のドメインに対する学習データ量が不足あるいは未注力分野となっており、結果として当該ドメインでの出力が不正確であり信頼性に欠けているとユーザが感じていることが大きな要因です。
また、説明責任が伴わない個人やカジュアルなシーンでの利用と異なり、ビジネスシーンでは特に正確性が重要視されるにも関わらず、ビジネスユーザーには正確性が実用レベルでないと判断されていることが実活用を阻害する大きな要因となっております。
そのため、ビジネスシーンでも耐え得る正確性の高い出力を達成するために、本事業では、ビジネスや最新の時事話題関連の質問に対しても、ハルシネーションが大幅に抑止(抑止率90%以上を目標)された基盤モデルの開発を目指します。
また、ビジネスシーンにおいては情勢が日々変化していくため、最新の時事情報の活用が重要な要素となるため、最新の時事話題を随時アップデートできるよう、追加事前学習による新知識が獲得可能な基盤モデルの構築を行います。
本事業での学習を収束させ、ハルシネーションを大幅に抑止することができれば、ビジネスドメインという高い言語理解力が求められる知識領域においても、基盤モデルが有効であるという画期的な事実の証明が可能になります。また、最大のビジネス知識数と他ドメインでも実証されている水準の実用レベルの出力の正確性を担保できる基盤モデルを開発できることにより、基盤モデルの活用が停滞しているビジネスドメイン/産業界全般における基盤モデルの利用を大幅に底上げできると考えております。
◆ストックマークのLLMに関する活動
ストックマークはこれまで、国内におけるLLM開発のトップランナーとして日本語及びビジネス領域に強い純国産LLMの開発研究を行ってまいりました。
2023年8月に14億パラメータの日本語LLMを公開、同年10月には130億パラメータの日本語LLMを公開し、ストックマークのプロダクトへの実装や、製造業における研究開発職に向けて新規用途探索の高速化・高精度化を目指した実証実験を行っております。
当社独自の高いAI技術に裏打ちされたプロダクトの成長
テクノロジーの急速な発展や社会の複雑化により、有益な情報を効率的に獲得し、ビジネスに活かすことが意思決定においてますます重要になっております。ストックマークは「自然言語処理」をコア技術に据え、東北大学 自然言語処理研究グループや、産業技術総合研究所、理化学研究所など、産学連携で共同研究や技術開発を行っております。
研究開発に留まらない大手企業を中心にした強固な顧客基盤
ストックマークが提供する「A Series」は、国内GDPの20%を占める、日本の最大産業である製造業企業様を中心に、国内の大手企業に深く浸透しており、日経225にノミネートされる企業様の約25%にご利用いただいていております。研究開発に留まらず、新しい価値づくりを実現するための情報活用に関する課題を着実に解決し、信頼と実績を積み重ねてまいりました。
◆取締役CTO 有馬 幸介のコメント
[画像2: https://prcdn.freetls.fastly.net/release_image/24407/154/24407-154-f46d00988e6686d11a82bd769491f34d-3900x3900.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
生成AIの精度は専門家でさえも予想できなかった水準で爆発的に向上しましたが、ハルシネーション(=AIが事実に基づかない情報を生成する現象)の抑制という社会実装上の最後の技術的難問が我々の前に立ちはだかっております。
特に製造業のデジタル化という文脈においては、スマートファクトリーによる現場技術者業務のデジタル化の推進と併せて、ホワイトカラー技術者の業務の高度化や、技術ノウハウのデジタル化を実現していくことがますます重要となってきております。
ハルシネーションの大幅抑制が達成可能なLLMを本事業で実現し、この社会課題に立ち向かい、産業界における新しい働き方のスタンダードを確立できればと考えております。
◆ストックマーク株式会社について
ストックマーク株式会社は「価値創造の仕組みを再発明し、人類を前進させる」をミッションに掲げ、最先端の自然言語処理技術を活用し、多くの企業の事業創造活動を支援しています。
当社は自然言語処理技術を活用し、国内外の約35,000サイトのビジネスニュースを分類しています。業務に直結する情報をAIが届けることにより、組織の情報感度を高め、事業アイディアの着想と組織内での発展を促す「Anews(エーニュース)」、AIが組織や業務に合わせて必要な情報を構造化し、示唆が得られる市場調査サービス「Astrategy(エーストラテジー)」を通じて企業の新たな価値創造をサポートします。
会社名 ：ストックマーク株式会社
所在地 ：東京都港区南青山一丁目12番3号 LIFORK MINAMI AOYAMA S209
設立 ：2016年11月15日
代表者 ：代表取締役CEO 林 達
事業内容：自然言語処理を活用した、事業機会の探索と意思決定の支援を行う
サービスの開発・運営
URL ：https://stockmark.co.jp/
