2023年3月14日
キヤノン株式会社
キヤノンは、ボリュメトリックデータの撮影から3Dデータの生成、配信までの一連の流れを、リアルタイム※1で行うことに成功しました。撮影とほぼ同時に3Dデータの配信が可能になることで、視聴者は手元の端末でリアルタイムに好きな視点に動かせるXRコンテンツ（VR・AR・MR）を楽しむことができます。今後、音楽ライブやスポーツ観戦におけるインタラクティブ性（双方向性）の高い視聴サービスの展開を目指して検証を進めていきます。
※1 撮影後、数秒の遅延で配信し、視聴者が操作できるようになります
ボリュメトリックビデオ技術は、現実世界の空間と時間を丸ごとキャプチャーし3Dモデル化することで、空間内の自由な位置や角度から映像生成することが可能です。近年、メタバースやXRといった3Dコンテンツの需要が拡大する中で、新たな映像制作手法として関心が高まっています。
キヤノンのボリュメトリックビデオシステムは、これまで撮影側（キヤノン）でカメラワークを決める2D映像の配信を中心に、スポーツ中継におけるリプレイ制作や当社が運営する「ボリュメトリックビデオスタジオ-川崎」での音楽ライブ配信など、幅広い分野で活用されてきました。これらは、従来の放送映像とは異なるインパクトのある映像として好評を得ている一方、ボリュメトリックビデオ技術の価値をさらに高めていくためには、視聴者自身の端末などでリアルタイムに視点の操作ができる3Dコンテンツの配信が求められています。
今回キヤノンは、膨大なボリュメトリックデータを高速処理する、XRコンテンツのライブ配信システムを開発しました。視聴者数に応じたストレージの拡張性が高く、効率的なデータ伝送が可能なクラウドサービスを活用し、「撮影」「3Dデータ生成」「XRコンテンツ生成」といった各工程におけるシステム間の連携を最適化しています。これにより、ボリュメトリックビデオシステムを活用したリアルタイムの撮影から配信までのワークフローを構築し、視聴者自身が手元の端末から視点操作を楽しめるXRコンテンツの提供が可能になります。
具体的な配信の仕組みとしては、ボリュメトリックビデオシステムで撮影した映像からリアルタイムに3D点群データを生成し、クラウドサーバーへ伝送します。次に、クラウドサーバーでXRコンテンツを生成し、スマートフォンやヘッドマウントディスプレイなどの視聴者の端末に配信します。その際、複数の視聴者の視点操作に即応して、クラウドサーバー内で視聴者毎に映像を生成し、配信し続けるため、思いのままの没入感のあるXRコンテンツを体験することができます。たとえば、メタバース上の音楽ライブにおいて、自由に移動しながら好きな場所で視聴ができたり、スポーツ観戦においても、決定的な瞬間をフィールド上の選手と同じ目線でリアルタイムに体感できるなど、これまでにない新たな視聴サービスの提供が可能になります。
キヤノンは、今後も通信事業者やクラウドサービス事業者との連携を通じて、ボリュメトリックビデオ技術の新たな価値創出を図ってまいります。
本システムを活用したXRコンテンツライブ配信サービスに関するお問い合わせは、「お問い合わせフォーム」をご利用ください。
