映画・テレビ・CMなどの映像作品やゲーム向けに建物・部屋・空間をフォトリアルに3D化する技術を開発

現実のロケーションを高精細3Dデータとして忠実に再現可能に

株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、以下、PFN）は、建物や部屋、空間全体を撮影して、現実のロケーションをフォトリアルな高精細3Dデータに再構成する技術を開発しました。この技術は映画・テレビ・CMなどの映像制作やゲーム開発、観光や不動産などのロケーションガイドなどに活用されることが期待できます。
[画像1: https://prcdn.freetls.fastly.net/release_image/156310/3/156310-3-a170e11495f92654d0d92db1348bf6f1-2048x1536.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]バーチャルプロダクション(InCameraVFX)での活用例（協力：株式会社角川大映スタジオ）
本技術の詳細、3Dデータのサンプルは、PFN 3D Scanサイト(https://pfn3d.com/vp)でご覧いただけます。

今回開発した技術は、ガウシアンスプラッティング*と呼ばれる最先端技術とPFNのスーパーコンピュータを用いて、様々なアングルから撮影された数百枚のロケーション写真をもとに3D空間を再構成するものです。また、映像制作やゲーム開発で標準的に使われる3DエンジンUnreal Engine 5で取り扱うためのプラグインも開発(https://www.youtube.com/watch?v=PezPCB8gpCA)し、作成した3Dデータを制作現場の既存のワークフローに簡単に組み込むことが可能です。
本技術で作成した3Dデータを使うことで、撮影のために現地まで毎回足を運ぶことなく、現実のロケーションを細部まで鮮明に再現した空間の中で、カメラアングルを自由自在に動かした映像やインタラクティブコンテンツを制作できます。
●3D化したロケーションのサンプル動画：
[動画1: https://www.youtube.com/watch?v=tZb8xXBMMu4 ]
[画像2: https://prcdn.freetls.fastly.net/release_image/156310/3/156310-3-2efb3840ecc0cdd4d459a7d81fe6f949-2242x416.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]協力：ロイヤルチェスター前橋（群馬県）、角川武蔵野ミュージアム（角川文化振興財団）本棚劇場（埼玉県）ほか
●映像への応用例：
[動画2: https://www.youtube.com/watch?v=K7u18A8Dhkw ]

大型LEDパネルに3D背景を写し、実写の人物とリアルタイムに合成

本技術は今後、映像制作、エンターテインメント、不動産、観光、製造業など、幅広い分野での活用に向け、具体的なサービスやプロダクトとして開発していく予定です。

*ガウシアンスプラッティング（Gaussian Splatting）
2023年に登場した3Dモデルを小さなガウス分布の集まりで表現する手法。点群、ボクセル、メッシュ、NeRFなどの従来の3D技術において用いられる表現と比較して、より高い外見の再現力を持ちます。また、大規模なシーンに対しても効率的に最適化を行うことができ、GPUによる高速な描画が可能であるといった強みがあります。

株式会社Preferred Networksについて　https://www.preferred.jp/ja/
Preferred Networks（PFN）は、現実世界を計算可能にするというミッションを掲げています。PFNは、生成AI基盤モデルからスーパーコンピュータ、チップ（半導体）まで、AI技術のバリューチェーンを垂直統合することで、ソフトウェアとハードウェアを高度に融合したソリューション・製品を開発し、様々な産業領域で事業化しています。現在、電力効率の高いAIプロセッサーMN-Core(TM)シリーズ、AI向けクラウドサービスPFCP(TM)、国産大規模言語モデルPLaMo(TM)などを開発・
提供しています。2014年創業。

本件に関する法人の方からのお問い合わせについて
PFN 3D Scan お問い合わせフォーム(https://docs.google.com/forms/d/e/1FAIpQLSeOTFeWKHdCLE5bQXdBomZNZ7XzysLv-qWDcw-KFBQipQrlxg/viewform)
https://prtimes.jp/a/?f=d156310-3-3e4450f0cc902c3d9c1f11ce569de52f.pdf