セミ捕り名人

カメラとマイクアレイで画像と音圧マップを重ね合わせて画像内の音源位置を表示します。

動画

開発素材

ツール

MicroPython

システム構成

装置

1.Maix Bit

画像処理にはSipeed社のMaix Bitを使用。maicropython系のMaixPy+OpenMV使用。

2.6 + 1 Mic Array

7個のマイクアレイで音源の方位を計算し、音圧マップとして出力してくれる。ボード周囲に12個のLEDがあり、音源方位を簡易的に表示する機能付き。

3.筐体

3Dプリンタで3分割構造。1,2と単4×2の電池ボックス2個を格納。

処理

1.前面のカメラで画像を取得

2.マイクアレイで音圧マップを取得

3.音圧マップをカメラのFOVに合わせてクロップ

4.音圧マップを二値化して合成用マスク画像作成

5.1,3,4の画像を適宜透過・合成してモニタに表示

ストーリー

Sound Visualizerはその名の通り、音を可視化する装置です。 マイクアレイで取得した音圧マップをカメラ画像に重畳することで、画像内のどこから音が発生しているか、音源位置を可視化することができます。

Ver. 1. 0ではむき出しだったデバイス用に筐体を作成。電源内蔵、レンズ交換によるFOV拡張を実施。

以前の開発時に、片耳の聞こえない方から、「音の方向が判らない私にはとても便利な装置。実用化してほしい」との声をいただきモチベーションアップ。 現在ウェアラブルな音源方位探知装置を構想中。

※2021年12月10日追記

CIVICTECH賞決勝進出にともない、おしゃれでスマートでウェアラブルなデバイスを開発しました！

※2022年8月10日追記

「セミ捕り名人」にデバイス名称を変更

アイデアをいただき、このデバイスをセミ探しに使ってみたら思いのほかうまく見つけられたので、名称を変更します。 https://twitter.com/AirpocketRobot/status/1553551692985028608

※2023年7月20日追記
Hackaday Prize 2023 Challenge 3 Assistive tech において、ファイナリストに選出されました。

メンバー

• 

  airpocket @airpocket

関連イベント

• ヒーローズ・リーグ 20212021-09-06 開催
• NT金沢：出展作品（一部だよ｜非公式だよ）2022-06-18 開催
• ProtoPediaの時間：紹介作品②（第51回〜100回まで）2021-12-01 開催
• 「Ogaki Mini Maker Faire 2022」の出展作品まとめ（一部だよ｜非公式だよ）2022-12-03 開催
• 「Maker Faire Kyoto 2023」の出展作品まとめ（一部｜非公式だよ）2023-04-29 開催

同じニオイがする作品

• MagicKnock with MagicTV
• HoloTakibi（ホロたき火）
• 陣痛共有デバイス「Happy Pain」
• 3Dプリントの残り時間カウントダウンタイマー