パシャってスケジュール〜紙ベースの連絡をGoogleカレンダー登録〜
とり子
@siroitori0413
開発中はデバッグモード
開発中はデバッグモードとしてAPI単位で実行できるようにしました（青いボタン）。レスポンスも画面上に表示させてみました。
写真の写し方によってVisionAPIの文字認識自体がうまくいっていないことも多くありました。
色々試してみた
色々やってみて以下気づいた点です。
- タイトルは5W1H抽出APIで抽出されにくかった
- 日付が複数ある場合の設定がおかしくなる（上の「外壁調査のお知らせ」の例） → 候補を複数表示して設定できるように改善できたらと思った
- 日付が何故か元データには無い2010年などおかしな日付のデータとなることが多かった（VisionAPIによる文字読み取りの誤認識というわけではなく5W1H抽出APIが作成している・・） → 元のデータにない日付が入っていた場合実行日付に置き換えるようにプログラムを実装しました。
- お知らせの先頭に日付（お知らせ配布の日付）が入っていることが多く、それをスケジュールの日付として認識してしまうことが多い
↓今回読み取った消防設備点検のお知らせも上部に日付がありスケジュール日時になるので折って隠してパシャりました。
さいごに
今回はこれで完成としますが、これからももっと発展させてバージョンアップして行けたらいいなぁと思っています！
追記：CIVICTECH賞決勝にノミネートされました
残念ながら上位入賞はできませんでした。
前述のとおりまだ皆さんに使ってもらえる環境が整っておらず完成度が低いことはわかっていましたので、デスヨネ〜と納得でしたが、候補に選んでいただけたこととても嬉しく思いました。
しかし審査員から有難いコメントもいただけたこと、発表を終えて何人かの方から「使いたい！」との声をいただいたことからすごく意欲が湧いてきました。ありがとうございました！
▼ 当日の発表資料 「動画」と書いた部分では操作デモを行いました。
追記：今後の展望
今後ですが会議の結果、私の息子であるMEMETAN氏(@memetan)が主担当として引き継いでくれることになりました。彼はサーバー立てたり環境構築したりするの得意なのでこれは楽しそうと手を上げてくれました。もちろん私も引き続き開発します！
https://twitter.com/siroitori0413/status/1599054904718680064?s=20&t=EuZwQqM4RAZKPzaMvobg1w
さらに追記：こちらの作品に移行しました
https://protopedia.net/prototype/3819 MEMETANが主体の上記作品に移行しています。 公開していますので是非使って見て感想をください。
▼ こちらから実際に使えます！ https://cam2calendar.memetan.dev/
システム構成
使用ライブラリ
- Google Vision API
- 5W1H抽出 API
- Google Calendar API
構成
当初簡単にHTML＋JavaScriptの形で作ってローカルで動かそうと思ったのですが、5W1H抽出 APIで CORS のエラーが発生。問い合わせをするとそういった仕様であるとのことだったので、この構成を断念しました。
でもせっかく上記の作りでコードを書いていたのでそのまま流用したいと考え、HTML＋JavaScriptは流用しつつNode.jsを書き加えた形でelectronへ移行しました。
実行するための環境作成
たくさんの方に利用してもらいたいと思ったのですが、第三者が新しい環境で利用する場合少し面倒で、
- Node.jsの実行環境を作成（Windows /Mac /Linux）
- 本システムをインストール
- Google Vision APIのAPIキーを取得して設定
しないといけません。
３のGoogle Vision APIのAPIキーは沢山使うと課金されます・・・。
課金されるGoogle Vision APIはやめて、Hugging FaceのInference APIを使ってはどうかとアドバイスをもらったので今後試してみたいです。
その上で、electronじゃなくてReact？とか？で作るとAndroidでも動かせるアプリになりそうなので良さそうです。今バージョンではこの形としますが、最終的にはここを目指したいです。
処理の流れ
- PCのインカメラで予定に追加したい情報をパシャリ。
- 1の画像から以下の順で文字が抽出されます。
・Google Vision APIで画像から文字情報を抽出
・5W1H抽出 APIで文字情報からいつ・どこでなどの情報に分離
⇨カレンダー登録候補情報として画面上に表示
- カレンダー登録候補情報を確認して登録する情報に整形してから、Google Calendar APIでGoogleカレンダーに登録
※初回はGoogleアカウントへのログイン画面が出てログインが必要になります。ここへログインすることで誰のカレンダーに登録されるかが決まります。
またアカウントに対して複数のカレンダーがある場合、今回は固定で１つめのカレンダーに登録しています。
■タイトル
スケジュールタイトルを設定します。5W1H抽出APIで「WHAT」の情報として設定された項目を設定しますが、感覚的に紙の連絡文の内容からは読み取り判断が難しいようで取得できないことが多いように思います。
■日時
日時を設定します。「終日」をチェックすると時間の項目が消えます。5W1H抽出APIで「WHEN」の情報から設定していますが、この情報の読み取りも難しいところです。
■場所
場所を設定します。5W1H抽出APIで「WHERE」の情報から設定しています。場所っぽい名称が入っている場合それが設定されるようです。「福岡市」「市民センター」など。
■詳細
詳細を設定します。今回ここにはGoogle Vision APIで読み取ったテキスト全文を入れるようにしました。そうすることで、「タイトル」などが設定されなかった場合にここからコピペできるようにという意図もあります。
また、Googleカレンダーの仕様としては日時のみ必須なので、日時以外の項目がもし入っていなくても面倒な人はそのまま登録してもいいです。