試合のハイライト映像をAIでリアルタイム生成 要約文も 視聴者が指示したシーンで生成も
2024年9月5日（木）15時31分 ITmedia NEWS
NTTドコモは、映像配信サービス「Lemino」で9月3日に無料ライブ配信したプロボクシングのダブル世界タイトルマッチ・井上尚弥選手vs.TJ ドヘニー選手の試合映像で、AIを使ったハイライトシーンの抽出と、そのシーンを表現する要約文章の自動生成を行ったと発表した。
同技術はユーザーからの指示を基に該当シーンを要約した映像や文章を生成できるといい、今後、ユーザーが求めるハイライトシーン投稿を自動生成するサービス開発などへの活用を目指す。
ハイライト抽出と要約文章生成には、NECのデータ活用基盤ソリューション「NEC Multimedia OLAP」を活用。複数の認識AIを用いたマルチモーダル分析により、ストリーミング映像からリアルタイムにハイライトシーンを多角的に抽出した。
それらのシーンを基にLLMを活用することで、臨場感ある表現や特定の選手に焦点を当てた描写など、多様な視点でストーリーが感じられる要約文章を生成。抽出された映像・画像と生成された要約文章を、実証用に準備したSNSに配信した。
ユーザーはSNSでリアルタイムに試合状況を把握することが可能になるため、場所やシーンを選ばずに情報を入手し、楽しめるとしている。
同技術はユーザーからの指示を基に該当シーンを要約した映像や文章を生成できるといい、今後、ユーザーが求めるハイライトシーン投稿を自動生成するサービス開発などへの活用を目指す。
ハイライト抽出と要約文章生成には、NECのデータ活用基盤ソリューション「NEC Multimedia OLAP」を活用。複数の認識AIを用いたマルチモーダル分析により、ストリーミング映像からリアルタイムにハイライトシーンを多角的に抽出した。
それらのシーンを基にLLMを活用することで、臨場感ある表現や特定の選手に焦点を当てた描写など、多様な視点でストーリーが感じられる要約文章を生成。抽出された映像・画像と生成された要約文章を、実証用に準備したSNSに配信した。
ユーザーはSNSでリアルタイムに試合状況を把握することが可能になるため、場所やシーンを選ばずに情報を入手し、楽しめるとしている。
関連記事（外部サイト）
