障害のある夫のためのオフライン・コンパニオンロボット（8GB RAM制約）—最適化のアドバイスを探しています

みなさんこんにちは。たぶんここは通常の範囲から少し外れている投稿だと思うのですが、もし可能なら何かアドバイスをいただけないでしょうか。

私はジェネレーションXで、正式なプログラミングのバックグラウンドはありませんが、夫のために小さなAIコンパニオンのプロジェクトを作っています。夫は主に四肢麻痺（脚が麻痺していて、手の使い方が限られています）で、私が仕事に行っている間はほとんど一日中、家で一人で過ごしています。私たちはとても田舎で、近くに近所の人もおらず、近場に友人もいないため、孤独が彼にとってとても大変でした。

そこで、彼のためにコンパニオンロボットを作ってみることにしました。

過去1年ほど、パーツを集めながら試行錯誤して学んできました。目標は、小型の電動車いすベース（24Vバッテリー×2）に構築した完全ローカルのオフライン移動ロボットで、彼と会話できて、そばにいてくれる存在にすることです。

現在の試作環境：

LLM（会話）：

• llama.cpp 経由の Mistral-7B-Instruct • 無償の Lenovo ThinkPad で実行 • Intel i5 @ 1.6 GHz • 8 GB RAM 

音声認識：

• Jetson Nano で faster-whisper（base、INT8）を実行 

テキスト読み上げ：

• Piper TTS – enus-ryan-medium 

現時点では、テストのために出力を HDMI ポート経由でテレビに送っているだけです。

主な制約は ThinkPad の 8 GB RAM なので、小さめの量子化モデルに限られています。

主な質問：

8 GB システムで llama.cpp の usable な RAM とパフォーマンスを最大化するための最善の方法は何でしょうか？

例えば：

• より良い量子化の選択 • Linux 上での swap/zram 戦略 • それでも会話している感じがする小さめのモデル • 低リソース環境で使うその他の工夫 

OS は Linux Mint 22.3 Cinnamon（64-bit）です。

少し変わった用途だとは分かっていますが、もし限られたハードウェアからより多くの性能を引き出すための提案があれば、ぜひ教えていただけると嬉しいです。