声でバンバンシューティング

LeapMotionの手の認識で照準を定め、「BAN」「DADADA」「DON」を音声認識して、自動的に対応する武器で射撃します。

動画

開発素材

ガジェット

Leap Motion

ツール

Unity

コンテンツ

Unityアセットストア

システム構成

以下の3つの手法で構成してます。

1.自分の手で照準を定める

LeapMotionを使い、画面に対する位置・指先の方向をトラッキング。

2.「BAN」「DADADA」「DON」で射撃

機械学習（Keras）で音声認識する仕組みを作り、自分の声を学習させました。 サーバー不要、PC内でリアルタイムで常時動かし続けることで、インタラクティブな遊び方を実現しています。 また、既成の音声認識は擬音に弱い場合がありますが、独自に学習させることで辞書に登録されてるような単語でない音声認識を可能にしました。 認識した音声によって武器が変わり、以下の3種類の射撃ができます。

• BAN -> ピストル
• DADADA -> マシンガン
• DON -> ミサイル

3.FaceTrackingで3D移動

FaceTrackingを活用してゲーム空間を移動します。

• 前進 -> 顔を近づける
• 後退 -> 顔を遠ざける
• 右を向く -> 顔を少し右に向ける
• 左を向く -> 顔を少し左に向ける

ストーリー

手をピストルの形にして「バン！」は、誰しも一度はやったことがあるのではないかと思います。

それを実際に遊べるものとして製作したのがこの作品になります。

「バン！」だけならマイク入力音量だけでもそれっぽくできてしまうので、音声認識を活用して遊び方を変えられる工夫も入れ込みました。

メンバー

• 

  foka @foka22ok

関連イベント

• ヒーローズ・リーグ 20212021-09-06 開催
• 「Maker Faire Kyoto 2023」の出展作品まとめ（一部｜非公式だよ）2023-04-29 開催

同じニオイがする作品

• LIFECODE BATTLER byバーコードバトラー
• 触感神経衰弱
• 数字への愛を体で示してもらおう
• 心霊写真 by プロジェクションカード