llama.cpp on $500 MacBook Neo: プロンプト速度 7.8 トークン/秒 / 生成速度 3.9 トークン/秒 Qwen3.5 9B Q3_K_M 上で

MacBook Neo で 8 GB RAM と 9B Qwen3.5 を搭載して llama.cpp をコンパイルしたところ、動作します（遅いですが、いずれにせよ動作します）。

使用した設定:

ビルド - llama.cpp バージョン: 8294 (76ea1c1c4)
マシン - モデル: MacBook Neo (Mac17,5) - チップ: Apple A18 Pro - CPU: 6 コア (2 パフォーマンス + 4 効率) - GPU: Apple A18 Pro, 5 コア, Metal 対応 - メモリ: 8 GB ユニファイド
モデル - Hugging Face リポジトリ: unsloth/Qwen3.5-9B-GGUF
GGUF ファイル: models/Qwen3.5-9B-Q3_K_M.gguf
ディスク上のファイルサイズ: 4.4 GB
起動時ハイパーパラメータ ./build/bin/llama-cli \ -m models/Qwen3.5-9B-Q3_K_M.gguf \ --device MTL0 \ -ngl all \ -c 4096 \ -b 128 \ -ub 64 \ -ctk q4_0 \ -ctv q4_0 \ --reasoning on \ -t 4 \ -tb 6 \ -cnv