AI スタックチャン検出カメラ (AI Stack-chan detection)

完成 2024.07.30 公開（2024.07.30 更新） © CC BY 4+ visibility225

完成 © CC BY 4+

2024.07.30 公開（2024.07.30 更新） visibility225

10gのUnitCamS3(ESP32 Camera)で周囲を撮影し、マルチモーダルのAI [GPT-4o mini]に画像を判断してもらうことで、スタックチャンを見つけることができます

folder アプリケーション, データサイエンス / AI / BOT, AR / VR, 電子工作, リメイク / DIY

sell M5Stack, 画像認識

動画

開発素材: API

OpenAI API

ガジェット

Unit CamS3

システム構成

【ハードウェア構成】

<マイコン>

Unit CamS3

カメラ(OV2640)ユニットだが、ESP32-S3で構成させているためマイコンとして使用。カメラ制御、Wifi接続でインターネットからOpenAI APIに接続している。またI2CでOLEDディスプレイの制御を行っている。

<有機ELディスプレイOLED>

SSD1306

I2Cで接続し、ここにGPTからの検出結果を表示（以下OLED）

【ソフトウェア構成】

< LovyanGFX >

M5Stackユーザおなじみの、グラフィックライブラリ。OLEDへの表示を制御

< esp32-camera >

ESP32シリーズ用にespressifから提供されているカメラのドライバ

【Web API構成】

<OpenAI API (ChatGPT)>

Open AIが公開しているWebからアクセス可能なAPI

【開発中のX(Twitter)投稿】

ストーリー: 【背景】

AI ｽﾀｯｸﾁｬﾝミニマルに追加オプションを制作したい

センサーを気軽に追加できるのがArduinoマイコンの良い所。画像認識を低価格で行えるGPT-4o miniの公開に合わせ、ミニマル用の画像入力オプションとして制作開始(AI_StackChan2_DevCamのカメラ機能の移植)。しかしUnit CamS3がEOLと知り、まずは画像コミュニケーションとはどんなものか？を知るための「スタックチャンを検出する機能の特化した作品」を制作しました

【こだわり】

気軽に画像コミュニケーションができることを体感できる

今まで「画像に何が写っているか？」を認識するためには、とても高い技術が必要で、身近ではありませんでした。しかしGPT-4o miniが公開されたことで、GPT-4o miniが理解できるものに関しては、テキストでやり取りできるようになったことを実感できます。

感謝

UnitCamS3 の使い方を日本語で分かりやすく公開してくれた、バーチャルエンジニアななな/NANANAさんに感謝いたします。M5Stack社のDocumentにはカメラの Pin情報が公開されておらず、こちらの情報でカメラを扱えるようになりました。

カメラ機能を公開してくれた、motohさんに感謝いたします。ｽﾀｯｸﾁｬﾝコミュニティの良い点は、誰かが製作した作品に新しいアイディアを追加し、それを公開することで、更に新しい作品が生まれることだと感じています。この作品もUnit CamS3の新バージョンが販売されたら、それに合わせて公開する予定です

【苦労した点】

初めてのESP32 Camera

M5Stack系マイコンのハードへのアクセスは、M5Unified経由で行っていたため、サポートされていないカメラをどのように扱えば良いのか分からず、試行錯誤で始めました。

元ソースと取捨選択

元ソース：AI_StackChan2_DevCam は多機能であり、カメラからOpenAI APIに画像を渡す部分のみに抽出・整理するのに時間がかかりました。

まだバグとして「同じ画像を2回送ってしまう」が残っているため、今後修正する予定です