ConvivialChat: 遠隔会話ツールにおけるテキストとスピーチの共生

開発に至った原体験として、公共交通機関で移動中にオンラインでの話し合いに、テキスト参加者（マイクをオフの状態でチャットのみ使用）として参加したのですが、チャットに送信した意見がリアルタイムの会話に反映されず、少し悲しい思いをしました。 この経験から、テキスト参加者もリアルタイムの会話にスピーチ参加者と対等に貢献できるシステムの開発を目指しました。

テキスト参加者とスピーチ参加者の対等で相互補完的なコミュニケーションを実現する他に、目の見えない人や声を出して話すのが困難な人など様々な身体的多様性を持つ人々が対等に話し合うことができる場の実現にもつながるのではないかと考えました。 さらに、書くことと話すことの境界を曖昧にし、私たちの言葉に対する認識をリフレームする効果があるのではないかと考えています。

補足：最初のログイン画面（写真2枚目）で半角数字1~4桁の部屋番号とログイン名(ローマ字）を入力するのを忘れないでください。それでもログイン後、会話ページ（写真3枚目）に遷移しないか、ログインしたユーザー（会話ページの左上）に自身のログイン名が表示されない場合は、根気強くリロードするか再度ログインし直してみてください。

1.SkyWayで基本的な遠隔会話ツールの機能を実現

サンプルコードも用意されているので、参考にしながら音声通話とチャット機能を備えたP2PのWebアプリを実装。バックエンドにはNode.jsを使用。

２.Web Speech APIで音声認識（Speech to Text)と音声合成（Text to Speech)の技術を活用

音声認識により声による発言をチャットのログに文字として表示する機能を実装。音声合成によりチャットにテキストで送信したメッセージを読み上げる機能、リアクションボタンの読み上げ機能を実装。