最近は古いモバイルGPUでもかなりのことができる

私が作ったものです。音声認識（speech-to-text）と音声合成（text-to-speech）のインターフェースを使った会話型LLMチャットボットです。設計目標は、リソースに制約のある環境でも最大限の会話のリアリティと没入感を実現することでした。

このデモでは、すべてが1つの RTX 3080 Mobile GPU（合計16 GBのVRAM）で動作しています。システムRAMの使用量は最小限で、Python依存関係もありません。すべてのコンポーネントは速度のためにC++で作られています。

コンポーネントは以下を含みます：

1) Qwen3.5-9B UD-Q6_K_XL（GGUF）— GGML.orgのwhisper.cppからのtalk-llama.cppの（わずかに）カスタマイズ版で動作するLLM。カスタマイズとして、KVキャッシュの量子化レベルを設定できる機能に加え、テキスト生成を最適化するための追加のQwen3.5生成パラメータ（repeat-penalty, presence-penalty）があります。コンテキストは49152トークンで、会話のターンを数時間分行うのに十分です。
2) Whisper-small（GGUF）— 正確なSTT（音声認識）のためのモデル。talk-llama.cppで動作します。
3) Orpheus-3B-ft UD-Q4_K_XL（GGUF）— 人気の「Tara」ボイスを備えた、主要なローカル向けテキスト読み上げ（TTS）モデル。GGML.orgのllama.cppのllama-serverで動作します。笑い、くすぐるような笑い、ため息などの感情タグを生成する機能が含まれています。
4) OrpheusのTTSによって生成された音声トークンを、ONNXランタイム上で最適化されたsnac24_dynamic_fp16（コミュニティ由来）のデコーダで高速に音声へ変換するための、カスタムで書いた「orpheus-speak」C++アプリ。デコーダは発話間でウォーム状態を維持し、音声WAVデータは3文チャンクでRAMに直接書き込み、そのまま再生します。これにより、長いテキストブロックに対しても正確で（比較的）迅速な音声生成が可能になります。
5) 徹底的に A/Bテストされたシステムプロンプトで、自然で聞き応えのある会話を可能にし、talk-llama.cppにコンパイルされています。
6) GPU上で動作するすべてのニューラルネット（LLM、STT、TTS、デコーダ）に対して、コンテキストと生成パラメータを最適化するランチャー用シェルスクリプト。

ユーザーの音声入力からシステムの音声出力までのレイテンシは、システムがより長いテキストブロックを生成するときにはまだやや高めですが、それでも2021年にリリースされたGPUとしてはかなり良い部類です（！）。