フォローアップ: Raspberry Pi 5 8GBでQwen3-30B-A3Bを7〜8 t/sで動作させる（ソース同梱）

免責事項: ここでのすべてはPi5上でローカル実行、API呼び出しなし/外部GPUなし等、ソースと画像は下にあります。

これはおよそ1週間前の私の投稿のフォローアップです。以降、SSDを追加し、公式のアクティブクーラーを導入し、カスタム ik_llama.cpp ビルドに切り替え、プロンプトキャッシュを機能させました。結果は... 大幅に改善されました。

デモは byteshape/Qwen3-30B-A3B-Instruct-2507-GGUF を実行しています。具体的には Q3_K_S 2.66bpw の量子化。SSDを搭載したPi 5 8GB で、16,384 のコンテキスト長 で7-8t/sを出しています。 ByteShapeの量子化を最初に指摘してくれた u/PaMRxR に大変感謝します。同じモデルファミリの4ビット量子化では4-5t/sが見込めます。

全体は Potato OS と呼ばれるフラッシュ可能なヘッドレス Debian イメージとしてパッケージされています。これをフラッシュしてPiを接続し、あとは放っておくだけです。起動後、Qwen3.5 2B with vision encoder（約1.8GB）を自動的にダウンロードする5分のタイムアウトがあります。10分後に戻って http://potato.local にアクセスすると、すぐに使えます。自分のやり方が分かっていれば、起動直後に別のモデルを選択したり、HuggingFace URL を貼り付けたり、ウェブインターフェース経由でLAN経由でアップロードすることもできます。

ローカルネットワーク上に OpenAI 互換の API を公開し、テスト用の基本的なウェブチャットもありますが、APIが本来の目的です。どんなものからでもアクセス可能です:

curl -sN http://potato.local/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"messages":[{"role":"user","content":"What is the capital of Serbia?"}],"max_tokens":16,"stream":true}' \ | grep -o '"content":"[^"]*"' | cut -d'"' -f4 | tr -d '
'; echo 

Full source: github.com/slomin/potato-os. Flashing instructions here. Still early days, no OTA updates yet (reflash to upgrade), and there will be bugs. I've tested it on Qwen3, 3VL and 3.5 family of models so far. But if you've got a Pi 5 gathering dust, give it a go and let me know what breaks.