人生お悩み相談室

© CC BY 4+ visibility540
© CC BY 4+
visibility540

日常生活で疲れや不満を感じている方々のために設計された、ユニークな相談アプリです。このアプリでは、ユーザーが気軽に悩みを話し、気分をリフレッシュすることができます。

link https://videontelligence.link/
動画
開発素材
システム構成
system image

【事前準備】

[画像生成]

  1. 「DALL-E3」で女性キャラクター画像を生成
  2. 「picwish」で背景を切り抜き
  3. 「ペイント」で女性キャラクターと飲み屋風景を合成

[動画生成]

  • 生成した画像より「Vidnoz」で喋るモーションを作成
  • 生成した画像より「Pika」で手の動きなどのモーションを作成

【アプリケーション実行時】

[音声識別]

  • ユーザ発話内容を「Gemini:SpeechRecognitionAPI」で文字起こし

[文章生成]

  • 発話内容及びキャラクター設定より「GPT-4o」で会話内容を生成

[音声生成]

  • 会話内容より「ElevenLabs」で発話音声を生成

[動画配信]

  • 「音声識別」「文章生成」「音声生成」及び「動画コントロール」を「OBS Studio」にて処理し、動画配信を実行

【11月追加: Webアプリケーション化 + Agent機能追加】

  • 人生お悩み相談室をWebアプリにして以下の機能を追加しました!

[Webアプリ化]

  • AWS CDKでインフラ構築、フロントエンドはECS(Next js)でバックエンドはコンテナLambda(Fast API)を使用。
  • ※ Google認証でのログインユーザーとIPアドレス制限をかけているため現状ログインは不可になっています。

[キャラクター追加]

  • 2人のキャラクターを追加、真面目なOLとハンサムなサラリーマン。

[Agent機能]

  • ユーザーの質問を受け取り、ツールを用いてタスクをこなす機能を追加。(zero-shot-react-descriptionのロジックを採用)

[Agentのツール]

  • Google WorkSpaceに関わるツール
    • Google認証時にスコープを許可することで以下のツールを使用可能。
      • Googleカレンダー取得・予定登録ツール。
      • Google Slide作成ツール。(Google Drive APIでログインユーザーのマイドライブに資料格納)
  • Web検索ツール
    • DuckDuckGoを使用。
  • SQL生成・実行ツール。
    • GlueとAthenaで構築されている2023年のプロ野球選手のデータ基盤に対する、SQL作成・SQL実行(Athena API実行)ツール。

[デモ動画]

ストーリー

作品への思い

  • 世の中につかれた人を癒したいと思い、癒しのプロをAIで再現したい。

課題

  • 動画ではなくリアルなコミュニケーションを行いたい(リアクションや口の動き)
  • レスポンス速度の向上(動画は速さ調整しています)
  • 感情認識を搭載したい。
  • キャラが違う女性(AI)も作成したい。
  • 複数人の女性との会話。
  • Webアプリ化。
  • AR、VR化
メンバー
  • user
    shinya_kumata @kumashin
    • オーナー
    • 企画
  • user
    yosuke @yosuke_laravel
    • 黒服
    • 開発
  • user
    西村 圭史 @yoshifuminishimura
    • スカウト
    • キャラコーディネート
  • user
    ダイスケ @kd_user
    • 黒服
    • 開発

関連イベント
  • event #生成AI オンラインハッカソン4 by #protopedia2024-05-31 開催
  • event ヒーローズ・リーグ 20242024-09-02 開催

同じニオイがする作品
  • event Kingyo AI Navi
  • event LiterAI
  • event 林家Pay
  • event AIロボット草刈機 Roktrack2

Proto lovers ♥
user
user
user
user

作品を登録しよう

モノづくりしている人に、つくった作品を見てもらえ、リアクションがもらえるかも?

close

目次


Proto lovers ♥
user
user
user
user