Mercury’s Boots

VRアバターを現実に呼び出す新しい小型テレプレゼンスロボットです。このロボットはまさしく、VR体験者が現実で動き回り、周囲の人々と対話するための「足」といえるでしょう。

動画

開発素材

デバイス

Intel® RealSense™

NVIDIA Jetson Nano

Arduino

ガジェット

VIVE

Looking Glass

TurtleBot3

API

WebRTCプラットフォーム SkyWay

ツール

Three.js

VRM

システム構成

システムは、2輪差動駆動ロボットおよび操作用のVRアプリケーションで構成される。アプリケーションはGoogle ChromeおよびChromiumでの実行が想定されている。

VR

汎用的なVRデバイス(HTC Vive)を使用しているが、汎用性と通信処理のため、WebGLおよびWebXRによりブラウザベースで開発した。WebGL開発にはJavaScriptライブラリのThree.jsを利用している。ロボットの操作、および現実の鑑賞者との対話が目的で、鑑賞者が点群で立体的に描画される。

ロボット

TurtleBot3をベースに、Jetson Nano、立体視ディスプレイ(Looking Glass)、Intel RealSense D435を搭載している。TurtleBot3の2輪駆動で現実空間への移動を、Looking GlassによるVRキャラクターの立体像の表示を実現している。Jetson Nano内部でHTTPサーバー(Apache)を立てており、Webアプリケーションの提供を行っている。駆動部はROSを介して制御されており、VR側からWebSocketを介して駆動部を操作できる。

スペック

• サイズ：幅200 x 高さ400 x 奥行150 (mm)
• 重量：2.2kg (Looking Glass) + 1kg (TurtleBot3)
• 電源：3セル LI-POバッテリー (11.1V, 1800mAh)
• 最高速度：0.22 (m/s)

通信処理

両者はWebRTCを介して通信している。WebRTCの実装はNTTコミュニケーションズが提供するSkyWayを利用した。

通信内容は以下の通りである。

API	From	To	通信内容
Data Channel	VR	ロボット	VR HMDとコントローラーの姿勢
Media Stream	ロボット	VR	デプスカメラのRGB画像
Data Channel	ロボット	VR	圧縮した深度画像

ストーリー

我々の「Mercury's Boots」は、まさにVRプレイヤーが現実空間を縦横無尽に移動するための小型テレプレゼンスロボットである。

VR機器によって操作するテレプレゼンスロボットは従来からあるが、ロボットは物理的・機械的な制約で動作や表情が制限される。 また、Vチューバーなどアバターを介したサービスも普及し始めているが、多くは平面的な表示にとどまり、現実世界への干渉も難しい。

このロボットは、双方のハイブリッドという形で、アバターを立体表示するディスプレイを搭載した2輪差動駆動となっている。 VRアバターが立体的に表示されることで、平面ディスプレイには出せない存在感が現れ、機械的な装置では不可能な表現(表情・ポーズなど)も可能となる。 また、VR体験者はコントローラーを介してロボットに搭載された車輪を動かせる。いわばロボットはVRアバターの「足」であり、VR体験者はロボットのいる現実空間を動き回れる。

VR上では深度カメラからの画像に基づいてロボット前方の人や物が三次元で表示され、音声と合わせて現実側との対話も可能となっている。 平面のディスプレイを介したWeb会議と異なる、新しいコミュニケーション体験をもたらせると考えている。

現状では、主に深度画像の送信に関する遅延、UIの洗練不足、アプリのバグ修正などが課題としてあげられる。 上記の課題を解決し、このロボットをさらに発展させていきたい。

メンバー

Revetronique

• 

  Revetronique @reve_tronique

  • テスト
  • 動画制作
  • 企画

• 

  戸田　光紀 (Revetronique) @koki_t

  • ハードウェア設計
  • ソフトウェア開発

関連イベント

• ヒーローズ・リーグ オンライン20202020-09-07 開催

同じニオイがする作品

• TacticBoardVR：VRサッカー作戦盤システム
• Arrival 🚪 ChatGPTとノックでコミュニケーション
• opniz
• 体感型AR/MRゲーム！ユニティちゃん Magic Leap ホッケー！