XR Magic Battle 〜現実空間で魔法対戦！AIとXRによる魔法バトルゲーム〜

完成 2024.11.11 公開（2024.11.16 更新） © CC BY 4+ visibility231

完成 © CC BY 4+

2024.11.11 公開（2024.11.16 更新） visibility231

XRとAIを用いた次世代の魔法対戦ゲーム！プレイヤーはXRゴーグルで現実世界を見渡しながら、魔法の杖で空中に軌跡を描き、その軌跡によって魔法を発動、他のプレイヤーと対戦しよう！

link https://youtu.be/keMbylX2GoM?si=olhWNK2Wb2JC7sZW

sell AI, Python, unity, XR, 機械学習

動画

開発素材: ツール

Unity

Photon

C#

Python Programming

ガジェット

Oculus Quest 2

API

Flask

システム構成

本プロジェクトのシステム構成は以下の通りです：

XRゴーグルとコントローラー
プレイヤーはXRゴーグルを装着し、右手に持ったコントローラーを使用して空間に魔法の軌跡を描きます。XRゴーグルを通して現実の風景にオーバーレイされる魔法の世界が視覚的に再現され、プレイヤーは没入感を持って対戦に挑むことができます。
形状認識と分類処理
- UnityとPythonの連携
  プレイヤーのコントローラー軌跡データはUnityで取得され、Pythonにデータを渡すことで解析を行います。Unityでのリアルタイム描画とPythonでのデータ処理がシームレスに連携しています。
- 主成分分析
  軌跡の三次元データに対して主成分分析を行い、描かれた軌跡の角度に依存せずに形状を二次元化します。これにより、分類精度が向上します。
- 次元数の圧縮と正規化
  軌跡の二次元化と正規化を行い、データの大きさや位置に影響されずに一貫して形状を認識できるようにしました。
マルチプレイヤー対応
本ゲームでは、Photon Unity Networking 2（PUN2）を利用し、オンラインで複数プレイヤーが同時にXR空間内で魔法対戦を行えるようにしています。これにより、各プレイヤーが現実空間にいながらも、仮想の魔法バトルに参加できる臨場感が実現されています。

実際のプレイ画像シーン

1. コントローラーで軌跡を描くシーン

風魔法: 三角形の軌跡で風の魔法を発動。竜巻のような風の攻撃で素早く相手を攻撃。速さ：◎・攻撃力：△
雷魔法: 四角の軌跡で雷の魔法が発動。電撃による攻撃で相手にダメージを与える。速さ：〇・攻撃力：〇
炎魔法:星の軌跡で炎の魔法が発動。スピードは遅いが大ダメージを与えられる！速さ：△・攻撃力：◎

2. マルチプレイ対戦画面

プレイヤー同士のバトル: 複数のプレイヤーがリアルタイムで魔法を駆使し、白熱した対戦が繰り広げられる。

ストーリー

ストーリー

現実世界で魔法を唱える – そんな夢を実現するために、このXR魔法バトルゲームが生まれました。プレイヤーはXRゴーグルを装着し、魔法の杖となるコントローラーを使って空中に魔法の軌跡を描きます。ゴーグルを通して広がる魔法の世界で、他プレイヤーとリアルタイムに戦い、炎や雷、風といった魔法を駆使して対決することができます。

作品の特徴や技術的こだわり

形状認識の精度向上
魔法の軌跡を的確に認識するため、形状認識には主成分分析を採用しました。Unityで三次元の軌跡データを取得し、Pythonで主成分分析を行い二次元に変換することで、どの角度から描かれても一貫して形状を認識できます。また、データの正規化により、軌跡の大きさに左右されない安定した分類が可能になりました。
リアルタイムなXR体験とマルチプレイ対応
Photon Unity Networking 2（PUN2）を活用し、プレイヤー同士がリアルタイムで繋がりながら戦うマルチプレイヤー環境を構築。複数人でのオンライン対戦が可能なため、臨場感あふれる対戦体験が実現しています。
XRゴーグルとコントローラーで没入感を追求
XRゴーグルを通じて現実空間にオーバーレイされる魔法の世界と、コントローラーで描く魔法の軌跡により、ファンタジーの魔法体験が現実に再現されています。