MR Piano

VRゴーグルのパススルー機能を使って、ピアノ演奏に合わせてMR表現する。

動画

開発素材

ツール

Unity

デバイス

Meta Quest Pro

システム構成

• 電子ピアノの演奏情報をMIDIでPCに送信。
• PC内のTouchDesignerでMIDIを受け取り、必要な情報に絞ってOSC送信。
• Wifi経由でMeta Quest Proに送信している。
• 鍵盤との位置合わせは自動化してないが、Meta QuestのSpatial Anchors機能を使えば２回目以降の位置合わせは自動化可能かもしれない。

ストーリー

ピアノ演奏ガイドをMR表現する映像を見たことがありますが、練習のためにMRを使うよりも演奏にリアルタイム反映する方が弾く側としては楽しそうだと思って作りました。

実際楽しいです。

若干の映像遅延と視野の狭さがあるため、少し弾きにくいのが欠点。

Meta Quest2にパススルー機能がついた時から作ろうとしていたけど、Meta Quest2のパススルーはいまいちだったので断念。 Meta Quest Proを使える機会があったので仕上げてみました。

メンバー

• 

  foka @foka22ok

同じニオイがする作品

• リアルどこでもドア： MR(複合現実感)による現実とリンクしたポータル表現
• うちパレ
• Hapbeat
• リアルタイム演奏情報を用いたメディア表現の考察