直言直行 - ちょくげんちょっこう -

在宅勤務が増え、ほとんど業務はリモート会議になり、いざ喋ると日本語おかしいし、相手がうまく聞き取れてないことがあるのが悲しい。チャットとか文字でフォローするのめんどいし、なんとかしたい。

• ヤフー賞 by ヤフー株式会社ヒーローズ・リーグ 2022

動画

開発素材

API

テキスト解析 Web API

Google Speach API

LIFEWILL Emodiversity API

ツール

kintone

OBS Studio

クラウド

IBM Cloud

システム構成

外部APIを叩く大半はほぼnode-redに集め、デバックをしやすくしました

1. Python(pyaudio）で、音声をストリームで取得し、音声が止まった＝一旦喋り終わった、としてGoogleのSpeech to Textでテキストに変換する
2. Yahooさんのテキスト解析APIのキーフレーズ抽出にテキストを設定して、喋った言葉で重要な箇所だけ抜き取る(聞こえなかった場合の対策
3. Yahooさんのテキスト解析APIの校正支援にテキストを設定して、日本語が正しく喋れてなかったらリアルタイムに注意する
4. LIFULLさんのAPIに喋ったテキストを設定し、感情を取得する
5. １〜3の情報をカメラ上に重畳することで相手にも伝わるし、自分も恥ずかしい
6. 喋った内容を逐次Kintoneに登録する
7. 議事係はKintoneを見て議事録の参考に参照する
8. 喋っていいた本人もKintoneを確認し、喋った文字を確認して自分の日本語のダメさに絶望する。文書校正の指摘あり

ストーリー

なぜ作ったか

• 喋る人って、後で自分が何喋ったか忘れていることが多い。だからフォローもできない。
• 喋ったことを後から振り返りできるようにしたい。
• さらに喋ってる時に感情とかキーフレーズが見えたら、相手にも見やすい
• 喋ってる時に文書校正の提案もできれば、後から日本語も学べる

メンバー

• 

  おいし もとき @motokioishi

関連イベント

• ヒーローズ・リーグ 20222022-09-05 開催
• #ヒーローズリーグ 2022 【決勝進出権有】 オンライン・ハッカソン2022-10-22 開催

同じニオイがする作品

• ３年日記電子版　by三日坊主チーム
• 無能プラットフォーム by Team.fuckin-specs
• BarSota
• maksy