HoloTuberKit: 3D遠隔コミュニケーション

元々はスターウォーズのホログラム表現が好きでKinectで取得した点群のAR表示の仕組みの試作を続けていました。

ここ数年ではコロナの影響で気軽に人と会うことが難しくなったことを背景に、遠く離れた家族や友人とのコミュニケーションを高い存在感と共にできるようにしたいと思い、様々なXRデバイスを用いて開発と国内外の仲間と実験を繰り返してきました。

これまでのシステムではスキャン用のデバイスとしてKinectを使用していましたが、より多くの人による利用を可能にするため今年の春からiPhoneのTrueDepthCameraにも対応させ、夏にはAppStoreで配布を開始しました。

元バージョンでは点群の配信のみですが、更なる機能追加として3Dオブジェクトの共有なども試作が済んでいるため、今後このアプリケーションで利用できるよう発展させられればと考えています。

■ キャプチャシステム(送信側)
iPhone/iPadのTrue Depth CameraやAzure Kinectを使用してカラー情報とDepth情報をリアルタイムに取得。
各種デバイスのマイクで音声を取得。

■ 表示システム(受信側)
XREAL LightやMetaQuest(1,2,3,Pro)やLookingGlass(Win/Mac両対応)
iPhone, Android(要ARCore)

■ 通信
WebRTCを用いて音声や点群をリアルタイムに配信