GESTURE CALENDAR

開発中 2021.11.15 公開（2021.11.15 更新） © CC BY 4+ visibility586

開発中 © CC BY 4+

2021.11.15 公開（2021.11.15 更新） visibility586

GESTURE CALENDAR は、特定のジェスチャーで操作できる壁掛けカレンダーです

sell IoT, Python, レシートプリンタ―, オレトク, エッジコンピューティング, 電子ペーパー, ジェスチャー検知

動画

開発素材: API

Calendar API

デバイス

Raspberry Pi

Coral

システム構成: 提供機能

GESTURE CALENDAR の機能は次の3つです。

カレンダーを表示し、定期的に最新の状態に更新します。スワイプのように腕を振る動作で、表示する月を切り替えられます。最後に、バンザイの動作で、予定一覧を印刷できます。

カレンダー表示

Google カレンダーに登録した予定でカレンダー表示を定期的に更新します。

左側のカレンダー部分には予定がある日を下線で表します。休日が赤文字になるのは普通のカレンダーと同じです。さらに右側には月の予定一覧を表示します。日毎に見ていく手間が省けるよう一覧で表示しています。

表示月の切り替え

前後の月の予定を確認したい時は、カレンダーの前で “左右にスワイプ”してみると、触ってもいないのに表示される月が変わります。

レシートプリンターでの予定一覧の紙出力

紙で予定を確認したい時は、カレンダーの前で “バンザイ“ をしてみると、触れてもいないのに独りでに印刷されます。

仕組み

GESTURE CALENDAR 上部にあるカメラ映像を姿勢推定の機械学習モデルを使って、左右の目や手首、肘などの座標や信頼度を検出します。その情報を基にカレンダーの前で行われた動作を判定しています。

次の月のカレンダーを表示したい場合は、右手首の座標が横方向へ動いているかで判定します。前の月を表示したい場合は、左手の位置の推移で判定します。

バンザイの場合は、左右の手首が目の高さ以上にあり、腕が伸びているかを肘の角度を計算して判定しています。

姿勢推定やジェスチャーの判別はクラウド側ではなく、エッジ側であるローカルのラズベリーパイと Coral TPU でおこなっています。

ストーリー: 2017年に「Android Experiments OBJECT」でグランプリを受賞した Magic Calendar という Google カレンダーに登録した予定がが自動で更新される「紙とデバイスの中間」を目指したカレンダーデバイスが発表されました。とても美しく、まるで和紙で作られたカレンダーのようなデバイスで、これが発売されたら絶対買うだろうなと思っていましたが、いつまで経っても発売される気配はありません。

そうなれば自分で作ってみようと思うのがプロトタイパー。電子ペーパーを使って Google カレンダーと連動したカレンダーデバイスを開発しました。さらに触れずに自分の動作だけで、カレンダーに先月・翌月の予定を表示させたり、リアルな紙を捨てきれないのでレシートプリンターでの紙出力が出来るようにしました。

ただし、今回の GESTURE CALENDAR が使いやすいとは限りません。これからも理想のカレンダーデバイスを模索していきたいと思います。

メンバー