1.アプリケーション作成の経緯：

• 聴覚障がい者やろう者の人々は手話を理解している人とのコミュニケーションが主であるため、コミュニケーションの範囲が狭まることにより、健常者に比べて情報格差や社会参画の機会減少が生じてしまうというのが現状です。近年のAIにおけるコンピュータビジョンの発展を活用して、「見えている世界を広げる手助けをしたい」という思いからを問題解決を目指しました。手話を認識してテキストに変換するアプリケーションを開発し、健常者が手話を理解できるようにすることで聴覚障がい者やろう者のコミュニケーション範囲の拡大、社会に有用なプラットフォームの構築に取り組んでいます。

  2.アプリケーション開発過程での困難とその克服方法：

• 最も困難であったのは、一連のジェスチャーを識別するために適切なAIモデルを見つけることと、その解析でした。ご存知の通り手話は単純なボディランゲージではなく一連の複雑な動作を組み合わせて内容を表現するものであるため、AIモデルとしては一連の動作に基づいてデータを解析し、推測することができる能力が必要でした。幸い適したモデルであるLSTM（短期長期記憶）モデルを見つけましたが、このモデルは非常に複雑で二次元の入力データが必要であったため、データの収集と訓練に多くの時間を費やして克服しました。
• 機能として完成ではありませんが、絶えず学び努力したことでプロジェクトを経て成長できたと感じています。

  3.アピールポイント：（添付された図をご参照ください）

  

  3.1：技術面：

• LSTMというAIモデルを使用しました。このモデルは自然言語処理に特化しているため、過去のデータと現在のデータを組み合わせて予測を行うことができます。GoogleのMediapipeライブラリと組み合わせることでユーザーのウェブカメラから各フレームの重要な座標（Hand landmarks, Pose landmarks）を取得し、二次元配列としてモデルの入力に使用します。これにより短いビデオから一連の動作に基づいた予測を行うことができます。

  3.2：セキュリティ：

• ユーザーの個人画像のセキュリティ：Mediapipeを使用して各フレームにおける手の関節や体のポイントの座標（Hand landmarks, Pose landmarks）をユーザーのマシンで直接識別し、Jsonメソッドを使用して座標セットのみをサーバーに送信してモデルの入力に使用することにより、個人の画像情報を盗まれるリスクなく利用できます。
• リアルタイムビデオ通話機能：WebRTCを使用してエンドツーエンドの暗号化を用いてユーザー間でメディアを直接転送することにより、リアルタイム性と高いセキュリティを確保しています。
• 登録とログイン、ユーザー情報の問題：登録する際には、メールアドレスとユーザー名（ニックネームも可）のみを最低限要求します。Firebase Authenticationを使用しており、メールを通じてアカウント認証を行えるため、アカウントを失うリスクなく利用できます。

  3.3：社会福祉におけるメリット：

• コミュニケーションの促進：手話を知らない健常者との対話において、円滑にコミュニケーションをとることができるようになります。
• 情報の平等な共有：手話を通じて情報にアクセスしやすくなるため、聴覚障がい者やろう者への情報共有を公平に行うことがで きるようになります。
• 教育の支援：市役所の窓口や学校の教育機関での授業に導入することで、聴覚障がいのある生徒達がより積極的に授業に参加することにより、社会参画機会を増やす取り組みに繋がります。
• 正確な手話であるかを確認できるため、手話を学ぶ環境としても利用できます。

  4.アプリの今後の課題と改善点：

  4.1：課題：

• 会話に使用する語彙は大量であるため、語彙に対応する手話の一連の動きをカメラの前で学習させるとなると、その分膨大な時間が必要になるという課題があります。対策として、ユーザーがシステムに手話を教える機能を追加するなどして、トレーニングの方法を工夫して取り組みたいと思います。

  4.2：改善点：

• 追加開発としてアプリケーションを初めて使用する人向けのチュートリアル、手話における情報を投稿できるフォーラム機能などを開発していきたいです。

1. システム構成：

Frontend（フロントエンド）:

• JavaScript: ユーザーインターフェースと動的な動作を制御
• HTML: ウェブページのマークアップと構造
• CSS: スタイリングとレイアウト
• MediaPipe API (JavaScript版): 手のジェスチャーを認識
• WebRTC: ビデオ通話の実装
• JSON: サーバーとのデータ交換フォーマット

Backend（バックエンド）:

• Flask: ウェブフレームワーク、APIを提供
• Socket.io: リアルタイム通信、メッセージング
• Firebase: データベースとユーザー認証
• Pyrebase: PythonでFirebaseと連携
• Docker: アプリケーションのデプロイメントとコンテナ化

2. 使用技術：

• ビデオ通話 (RTC)
• ジェスチャー認識 (MediaPipe API)
• サーバーとの通信 (JSON)
• メッセージ転送 (Socket.io)
• データベース接続 (Firebase, Pyrebase)
• アプリケーションデプロイ (Docker)
• 機械学習 (TensorFlow): ジェスチャー認識モデルの訓練と実行

3. アプリケーションの主要技術：

• LSTM (長短期記憶): 複雑な手話ジェスチャーをテキスト列に変換
• ランダムフォレスト: アルファベットの文字を認識

システム説明：

ステップ1：

ユーザーはログインした後、待機室を作成し他のユーザーを自分の部屋に招待、ジェスチャー認識機能を有効にします。

ステップ2：

Web用のMediaPipeを通じて、JSON形式でユーザーのジェスチャーから識別されたポイントの座標セットを送信します。その後、JSONメソッドを介してサーバーにリクエストをり送信します。

ステップ3：

サーバーがクライアントからのリクエストを受信すると一時的なメモリに保存し、これを20リクエストが集まるまで続けます。（一時的なメモリには、ユーザーが行った複雑な動作の座標セットが保存されます。） このメモリをLSTMモデルの入力として使用します。ジェスチャーを認識し、そのアクションシリーズを代表するテキスト形式の結果を返します。サーバーは現在の部屋にいるユーザー全員にsocket.ioを介して認識結果を送信します。