ラズパイ4でローカルLLM

Raspberry pi 4 +Gemma 2:2bでローカルLLM作成！推論から発話までローカルで稼働しています。

動画

開発素材

デバイス

Raspberry Pi

システム構成

• ハードウェア：Raspberry Pi4 ModelB 4GB

• LLM：gemma2:2b

• LLM実行ツール：Ollama

• 音声合成：eSpeak NG

• プログラム：Python

• OLEDディスプレイモジュール（ 0.96インチ、白色）

• イルミネーション テープライト（ダイソー製 30LED 1m）

• スピーカー：小型モノラルスピーカー

• DAC搭載 USB Type-C変換アダプター

• USB Type-C - Type-A 変換アダプタ

SSHでラズパイに接続し、プログラムを実行。 ターミナルからプロンプト（テキスト）を入力。

状態確認用にLEDも接続。アイドル中は緑、推論中は赤点滅、回答中は青点滅。

スピーカーはアンプが無いので、そのままラズパイ のオーディオジャックに繋ぐとほとんど聞こえない。 そこで、DACチップ付きケーブルとType-A 変換アダプタを使ってUSBスピーカーとして本体に接続。（全て100均で入手）

これで、そこそこ聴こえるボリュームで再生できる様になりました。

ストーリー

「Run LLMs Locally on Raspberry Pi Using Ollama AI」って記事を見つけて試してたら、設定簡単！反応も早い！PythonやNode.jsからも使える！と、良い事づくめだったので、一気にハマってしまいました。

「tnyllama（640MB)」でプロトタイプを作成後、100均で脳みそフィギュアと培養ポッド、LEDテープを入手し、それっぽい電飾模型を作成。

tnyllamaは英語のみだったが、その後にリリースされた「gemma2:2b（1.6GB）」がギリギリ動く＆日本語もOKだったため、急遽こちらに変更しました。

メンバー

合同会社プレーン・プラン

• 

  QINFU @qinfu

同じニオイがする作品

• 非接触空間センサー　「双方向ハンドセンサー」
• HoloTakibi（ホロたき火）
• デジたま2 the AI
• reTerminalとHDMI入力でゲーム配信！ - HDMI入力拡張モジュール -