MIDIコントローラーが無線左手デバイスに大変身

完成 2024.07.26 公開（2024.07.31 更新） visibility244

完成

2024.07.26 公開（2024.07.31 更新） visibility244

USB MIDIコントローラーを無線の左手デバイスにする。MIDIコントローラーのノブで、Windowsで動作する3DCGアプリBlenderのパラメーターを変更できる。

link https://youtu.be/CeoQOxuRfSc

sell 3Dプリンタ, MIDI, Python, 3DCG, WiFi

動画

開発素材: ツール

Blender

PlatformIO

デバイス

M5Capsule

システム構成

Summary

This system turns any USB MIDI controller into a wireless device that can control any app. The knobs on the MIDI controller can be used to change parameters in Blender running under Windows.

システム構成

MIDIデバイスを制御できるようにM5CapsuleをUSB Hostに設定
M5Capsuleは、USB MIDIコントローラーから送信されるMIDIメッセージを受信する
M5Capsuleは、受信したMIDIメッセージを、Windows PCにWi-Fi経由でUDPパケットに変換して送信する
Windows PCは、受け取ったUDPパケットを処理してアプリを操作する
今回の例では、BlenderのAPIを使って、視点変更、色変更、ブラシサイズ変更などの操作をしている

留意事項

実際に動作している様子を撮影した動画ですが、現状のデモにおいて、サポート外の方法でBlenderのAPIを利用しています。
- M5CapsuleをBluetoothキーボード化させるなどの対応で改善できると考えています。
動画を後から加工処理をして、動いているようにみせるということはしていません。
任意のUSB MIDIコントローラーを無線化して、アプリを気軽に遠隔操作する試作品のデモになります。

ストーリー

M5CapsuleのUSB端子と筐体のUSB端子が合うように工夫した

大容量のバッテリも使えるようにした

制作にあたって試行錯誤したこと

M5Capsuleで「バッテリ駆動」と「外部電源駆動」の両方で動くアプリの実現
- https://note.com/ndenki/n/na2cc8d5f4969
USB Type-C クレードルの作成の試行錯誤
- https://note.com/ndenki/n/n99395a577c9b
USBの充電モジュールを筐体に固定する方法の試行錯誤
- https://note.com/ndenki/n/n479720dc8ca0
M5CapsuleのUSB-OTGの調査
- https://note.com/ndenki/n/nbef4ea45d66e
M5Capsule UDP通信の調査
- https://note.com/ndenki/n/n44166f1a438b
M5CapsuleでUSB-OTGしながらデバッグプリントする方法の検討
- https://note.com/ndenki/n/nf53401101486
AKAI MPK mini MK3 ロータリー・ノブのMIDIメッセージの解析
- https://note.com/ndenki/n/n5e7cb0999b47
USB MIDI イベントパケットの調査
- https://note.com/ndenki/n/n85026413fe4a
ESP32-S3 USB-Hostの調査
- https://note.com/ndenki/n/n2bba54a9b3cc