超高速・高精度・商用利用可能な日本語音声認識モデル「ReazonSpeech v2」を無償公開
2024年2月14日（水）10時46分 PR TIMES
株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最大35,000時間の日本語音声コーパス(※1)および世界最高レベルの高精度日本語音声認識モデル「ReazonSpeech v2」を公開いたしました。ReazonSpeechは、公開後に日本語音声認識コミュニティからの多くの反響を頂きました。また、音声コーパスの自動構築手法をまとめた論文は、言語処理学会・第29回年次大会で優秀賞を受賞しました。今回発表する「ReazonSpeech v2」は、従来のReazonSpeechと比較し、コーパスの量は1.8倍の35,000時間、モデルの認識速度は7倍と大きく向上しています。認識速度向上により、会話のリアルタイム書き起こしなどの用途にさらに利用しやすくなりました。※1 音声コーパスとは、大量の音声データからなるデータベースで、機械学習の学習に用いられます。
音声認識を用いた文字起こしデモ
ReazonSpeechのプロジェクトwebサイトにて、今回発表した音声認識モデルを用いた文字起こしサービスを実際に試すことができます。プロジェクトwebサイト
https://research.reazon.jp/projects/ReazonSpeech/#reazonspeech-demo
背景
深層学習を用いた音声認識技術は近年飛躍的に精度が向上しました。深層学習を用いた音声認識では、高精度な音声認識モデルを得るために、音声コーパスが大量に揃っていることが必要不可欠となります。誰もが自由に使える形で大規模な音声コーパスが公開されれば、当技術の迅速な発展に大きく寄与します。英語等ではこうした音声コーパスが多数公開されていますが、日本語では商用利用も含めて自由に利用可能なコーパスは量が少なく、日本語における音声認識技術の発展と普及を妨げる大きな要因となっていました。ReazonSpeechは、商用利用可能なコーパスを公開することにより、日本語における音声認識技術の発展と普及に寄与したと自負しております。音声コーパスの自動構築手法をまとめた論文も、言語処理学会・第29回年次大会で優秀賞をいただきました。「ReazonSpeech v2」では、ReazonSpeechの自由なライセンスなどを引き継いだ上、音声認識コーパスの量を1.8倍の35,000時間に増やし、また新たな音声認識モデルの導入によって認識速度の向上を図ったものです。
ReazonSpeech v2 コーパス
ReazonSpeechでは、ワンセグ放送の録画データから音声コーパスを自動抽出しています。 録画データから音声コーパスを構築するためには、発話単位で音声と字幕テキストを対応付ける処理(アラインメント処理と呼びます)が必要になります。音声認識モデルを利用してアライメント処理を自動的に行い、大規模なコーパスを作成しました。従来は19,000時間のコーパスを公開しておりましたが、今回はおよそ1.8倍となる35,000時間のコーパスを公開しました。日本語音声コーパスの中では圧倒的な量を誇ります。
[画像1: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-f3f4dfabe0a376362ae8e966c4e1923f-1500x900.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]主要な大規模日本語音声コーパスの比較
ライセンスについて、従来と同様に、CDLA-Sharing-1.0ライセンス(著作権法30条の4を含む適用法令を遵守し、現著作権者の権利を侵害しないことが前提 ※2)にて公開しました。※2 放送録画データに含まれる音声及び字幕データの権利は、元のテレビ放送の著作権者に帰属しますが、このデータを機械学習モデル構築のために使用することは、商用・非商用の目的を問わず著作権法30条の4によって認められています。
ReazonSpeech v2 日本語音声認識モデル
ReazonSpeech日本語音声認識モデルは、OpenAIが公開した高精度な音声認識モデルWhisperと比べて、高精度で高速です。従来と同様に、Apacheライセンス2.0にて公開し、無償で商用利用可能です。従来はESPnet(※3)を用いた音声認識モデルを提供していましたが、v2ではそれに加えてNeMo(※4)を用いた音声認識モデルも提供します。※3 ESPnet : E2E音声処理のためのオープンソースツールキット。渡部晋治氏をリーダーとして、様々な大学や研究機関、企業に属する日本人が中心となって開発。※4 NeMo : NVIDIAが提供する、音声認識・音声合成・大規模言語モデル(LLM)・自然言語処理のためのオープンソースツールキット。
日本語音声認識モデルの比較
「ReazonSpeech」コーパスを用いて構築したNeMo音声認識モデル ReazonSpeech-v2(NeMo)と、OpenAIが公開した高精度な音声認識モデルWhisperの各種モデルとの精度・速度比較を示します。
[画像2: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-0bb12eaa1659cddaa337742ed9bfdae7-1297x900.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]ReazonSpeech v2と他モデルとの精度・速度比較
図は、JSUT-book（単一話者によって発話された1時間のオーディオブック音声）を対象に、NVIDIA A100 GPUを用いて音声認識を行った結果を比較したものです(※5)。各モデルが円形で示され、縦軸が認識結果の文字誤り率 、横軸が実時間比の処理速度を示し、ともに値が小さいほど高い性能であることを示します。一般的には、CERとRTFはトレードオフの関係にあります。図の中の破線は、既存のWhisper系のモデルやReazonSpeech-v1.1のモデルが達成していたCER/RTFです。ReazonSpeech v2は、破線より左下に位置し、従来のトレードオフ関係を超えて、より高精度・高速な音声認識を行っています。モデルのパラメータ数は、ReazonSpeech-v2(NeMo)が600M、Whisperのsmallが244M、mediumが769M、largeが1550Mです。Whisperのmediumサイズより小さなパラメータ数で、largeよりも低いCERを達成しています。従来のReazonSpeech v1.1モデルと比較しても、ReazonSpeech v2モデルは高精度・高速になっていることが読み取れます。
[画像3: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-f846b4493e456ae901fffdb33d765ee7-1437x600.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]複数データセットにおけるReazonSpeech v2と他モデルとの精度比較
図は、各種検証データセットを対象に、各種モデルを用いてCERを計測したものです。ReazonSpeech-v2 (ESPnet) ReazonSpeech-v2(NeMo)ともに、検証データセットでのCERが良好であることを示しています。※5: グラフの軸について
縦軸: CER: Character Error Rate。（挿入文字数 ＋ 置換文字数 ＋ 削除文字数）／正解文字数で計算される。
横軸: RTF: Real-Time Factor。認識にかかる時間 / 認識対象の音声時間で計算されるリアルタイム性能を示す指標。長さ10秒の音声の認識に40秒を要した場合、RTFは4となる。
円のサイズ: パラメータ数。一般的にはパラメータ数が多いほうが高精度となるが、計算コストやメモリ使用量も増加する。
ReazonSpeechコミュニティの発足
「ReazonSpeech v2」の発表にあわせて、ReazonSpeechのコミュニティを立ち上げます。日本語音声認識システムを利用したシステムの開発者、日本語音声認識システムそのものに興味がある方、音声コーパスの構築に興味がある方などの参加を期待しています。Discord: Reazon Human Interaction Lab.
https://discord.gg/ua8TxhubAF
今後の展望
- より大規模で高品質な音声コーパスの継続的なリリース
- ReazonSpeechコミュニティを通じた勉強会・イベントなど日本語音声認識・コーパス構築のための普及活動の実施
- よりリアルタイム性を求めた音声認識モデルの構築
レアゾン・ヒューマンインタラクション研究所について
[画像4: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-d30e6491aa759d81b503f1f5e578bad9-3900x2178.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
レアゾン・ヒューマンインタラクション研究所（所長：森大二郎）は株式会社レアゾン・ホールディングスの企業研究所です。
音声・視線・手や身体を用いたジェスチャーの認識や、マニピュレータや道具・楽器等の操作、協働ロボット技術など、あらゆるユーザがより効率的に情報伝達を行うための技術について幅広く研究し、その成果を速やかに公開して、当該分野の研究と実用化の迅速な発展に貢献することを目指しています。
ヒューマンインタラクションに興味・関心のある研究員を募集しています。
URL：https://research.reazon.jp/
レアゾン・ホールディングスについて
[画像5: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-3f08973093c214b93661dc2dd5ce2d14-3900x2178.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
「新しい"当たり前"を作り続ける世界一の企業へ」を掲げ、「アドテク事業」、「ソーシャルゲーム事業」、「メディア事業」、「フードテック事業」の4つの領域を中心に事業を展開しています。各事業領域同士で事業シナジーを高めることで、他社にはない事業展開や新規事業を創出し続けます。■会社概要
商号：株式会社レアゾン・ホールディングス
代表者：代表取締役 渡邉 真
所在地：〒164-0004 東京都新宿区四谷1-6-1
設立：2019年2月
事業内容：グループの経営戦略、経営管理・事業支援
URL：https://reazon.jp/
オウンドメディア：https://media.reazon.jp/
音声認識を用いた文字起こしデモ
ReazonSpeechのプロジェクトwebサイトにて、今回発表した音声認識モデルを用いた文字起こしサービスを実際に試すことができます。プロジェクトwebサイト
https://research.reazon.jp/projects/ReazonSpeech/#reazonspeech-demo
背景
深層学習を用いた音声認識技術は近年飛躍的に精度が向上しました。深層学習を用いた音声認識では、高精度な音声認識モデルを得るために、音声コーパスが大量に揃っていることが必要不可欠となります。誰もが自由に使える形で大規模な音声コーパスが公開されれば、当技術の迅速な発展に大きく寄与します。英語等ではこうした音声コーパスが多数公開されていますが、日本語では商用利用も含めて自由に利用可能なコーパスは量が少なく、日本語における音声認識技術の発展と普及を妨げる大きな要因となっていました。ReazonSpeechは、商用利用可能なコーパスを公開することにより、日本語における音声認識技術の発展と普及に寄与したと自負しております。音声コーパスの自動構築手法をまとめた論文も、言語処理学会・第29回年次大会で優秀賞をいただきました。「ReazonSpeech v2」では、ReazonSpeechの自由なライセンスなどを引き継いだ上、音声認識コーパスの量を1.8倍の35,000時間に増やし、また新たな音声認識モデルの導入によって認識速度の向上を図ったものです。
ReazonSpeech v2 コーパス
ReazonSpeechでは、ワンセグ放送の録画データから音声コーパスを自動抽出しています。 録画データから音声コーパスを構築するためには、発話単位で音声と字幕テキストを対応付ける処理(アラインメント処理と呼びます)が必要になります。音声認識モデルを利用してアライメント処理を自動的に行い、大規模なコーパスを作成しました。従来は19,000時間のコーパスを公開しておりましたが、今回はおよそ1.8倍となる35,000時間のコーパスを公開しました。日本語音声コーパスの中では圧倒的な量を誇ります。
[画像1: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-f3f4dfabe0a376362ae8e966c4e1923f-1500x900.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]主要な大規模日本語音声コーパスの比較
ライセンスについて、従来と同様に、CDLA-Sharing-1.0ライセンス(著作権法30条の4を含む適用法令を遵守し、現著作権者の権利を侵害しないことが前提 ※2)にて公開しました。※2 放送録画データに含まれる音声及び字幕データの権利は、元のテレビ放送の著作権者に帰属しますが、このデータを機械学習モデル構築のために使用することは、商用・非商用の目的を問わず著作権法30条の4によって認められています。
ReazonSpeech v2 日本語音声認識モデル
ReazonSpeech日本語音声認識モデルは、OpenAIが公開した高精度な音声認識モデルWhisperと比べて、高精度で高速です。従来と同様に、Apacheライセンス2.0にて公開し、無償で商用利用可能です。従来はESPnet(※3)を用いた音声認識モデルを提供していましたが、v2ではそれに加えてNeMo(※4)を用いた音声認識モデルも提供します。※3 ESPnet : E2E音声処理のためのオープンソースツールキット。渡部晋治氏をリーダーとして、様々な大学や研究機関、企業に属する日本人が中心となって開発。※4 NeMo : NVIDIAが提供する、音声認識・音声合成・大規模言語モデル(LLM)・自然言語処理のためのオープンソースツールキット。
日本語音声認識モデルの比較
「ReazonSpeech」コーパスを用いて構築したNeMo音声認識モデル ReazonSpeech-v2(NeMo)と、OpenAIが公開した高精度な音声認識モデルWhisperの各種モデルとの精度・速度比較を示します。
[画像2: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-0bb12eaa1659cddaa337742ed9bfdae7-1297x900.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]ReazonSpeech v2と他モデルとの精度・速度比較
図は、JSUT-book（単一話者によって発話された1時間のオーディオブック音声）を対象に、NVIDIA A100 GPUを用いて音声認識を行った結果を比較したものです(※5)。各モデルが円形で示され、縦軸が認識結果の文字誤り率 、横軸が実時間比の処理速度を示し、ともに値が小さいほど高い性能であることを示します。一般的には、CERとRTFはトレードオフの関係にあります。図の中の破線は、既存のWhisper系のモデルやReazonSpeech-v1.1のモデルが達成していたCER/RTFです。ReazonSpeech v2は、破線より左下に位置し、従来のトレードオフ関係を超えて、より高精度・高速な音声認識を行っています。モデルのパラメータ数は、ReazonSpeech-v2(NeMo)が600M、Whisperのsmallが244M、mediumが769M、largeが1550Mです。Whisperのmediumサイズより小さなパラメータ数で、largeよりも低いCERを達成しています。従来のReazonSpeech v1.1モデルと比較しても、ReazonSpeech v2モデルは高精度・高速になっていることが読み取れます。
[画像3: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-f846b4493e456ae901fffdb33d765ee7-1437x600.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]複数データセットにおけるReazonSpeech v2と他モデルとの精度比較
図は、各種検証データセットを対象に、各種モデルを用いてCERを計測したものです。ReazonSpeech-v2 (ESPnet) ReazonSpeech-v2(NeMo)ともに、検証データセットでのCERが良好であることを示しています。※5: グラフの軸について
縦軸: CER: Character Error Rate。（挿入文字数 ＋ 置換文字数 ＋ 削除文字数）／正解文字数で計算される。
横軸: RTF: Real-Time Factor。認識にかかる時間 / 認識対象の音声時間で計算されるリアルタイム性能を示す指標。長さ10秒の音声の認識に40秒を要した場合、RTFは4となる。
円のサイズ: パラメータ数。一般的にはパラメータ数が多いほうが高精度となるが、計算コストやメモリ使用量も増加する。
ReazonSpeechコミュニティの発足
「ReazonSpeech v2」の発表にあわせて、ReazonSpeechのコミュニティを立ち上げます。日本語音声認識システムを利用したシステムの開発者、日本語音声認識システムそのものに興味がある方、音声コーパスの構築に興味がある方などの参加を期待しています。Discord: Reazon Human Interaction Lab.
https://discord.gg/ua8TxhubAF
今後の展望
- より大規模で高品質な音声コーパスの継続的なリリース
- ReazonSpeechコミュニティを通じた勉強会・イベントなど日本語音声認識・コーパス構築のための普及活動の実施
- よりリアルタイム性を求めた音声認識モデルの構築
レアゾン・ヒューマンインタラクション研究所について
[画像4: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-d30e6491aa759d81b503f1f5e578bad9-3900x2178.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
レアゾン・ヒューマンインタラクション研究所（所長：森大二郎）は株式会社レアゾン・ホールディングスの企業研究所です。
音声・視線・手や身体を用いたジェスチャーの認識や、マニピュレータや道具・楽器等の操作、協働ロボット技術など、あらゆるユーザがより効率的に情報伝達を行うための技術について幅広く研究し、その成果を速やかに公開して、当該分野の研究と実用化の迅速な発展に貢献することを目指しています。
ヒューマンインタラクションに興味・関心のある研究員を募集しています。
URL：https://research.reazon.jp/
レアゾン・ホールディングスについて
[画像5: https://prcdn.freetls.fastly.net/release_image/102162/11/102162-11-3f08973093c214b93661dc2dd5ce2d14-3900x2178.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
「新しい"当たり前"を作り続ける世界一の企業へ」を掲げ、「アドテク事業」、「ソーシャルゲーム事業」、「メディア事業」、「フードテック事業」の4つの領域を中心に事業を展開しています。各事業領域同士で事業シナジーを高めることで、他社にはない事業展開や新規事業を創出し続けます。■会社概要
商号：株式会社レアゾン・ホールディングス
代表者：代表取締役 渡邉 真
所在地：〒164-0004 東京都新宿区四谷1-6-1
設立：2019年2月
事業内容：グループの経営戦略、経営管理・事業支援
URL：https://reazon.jp/
オウンドメディア：https://media.reazon.jp/
