 | はい、まじで。API呼び出しもワードトリックも一切ありません。完全にオフラインで動くAIを目指すなら、絶対的な最低ラインはいくらなんだろうと思っていました。どこにでもDoomを動かそうとする人たちみたいに、どうして$15のデバイスで、しかもメモリ512MBだけで、大規模言語モデルを純粋に動かせないのでしょうか？ もちろん、とてつもなく遅いです（1時間に数トークン程度の話です）が、とにかく動きます！CPUが各行列を計算しているのを文字どおり見られて、そして――はい、ローカル推論です。 次は、AA電池式のLLMやソーラー駆動のLLMを作れるかもしれませんし、手回し発電機につないでもいいかも。完全に荒野パンクのノリです。 注: これは単純な [リンク] [コメント] |
AIの「Running Doom」：512MBのRaspberry Pi Zero 2WでのQwen3.5-27B
Reddit r/LocalLLaMA / 2026/4/3
💬 オピニオンSignals & Early TrendsTools & Practical Usage
要点
- Redditの投稿では、Raspberry Pi Zero 2W（RAM 512MB）上でQwen3.5-27B LLMを完全にオフラインで動作させている。生成は1時間あたり数トークン程度にとどまるが、ローカル推論が可能であることを示している。
- 著者は、それが基本的なメモリマッピングやスワップに依存していないと強調する。代わりに、カスタムの「重みストリーミング」手法を実装し、SDカードからモデルの重みを読み込み、計算を実行したのちメモリをクリアする仕組みになっている。
- この取り組みは、極端に制約の厳しいハードウェアで「完全オフラインAI」を実現するための「下限（lower bound）」の実験として位置付けられている。奇妙なデバイスでDoomを動かす人々に例えたものだ。
- 投稿では、超低消費電力やバッテリー／ソラーパワーで動かすLLM構成といった今後の方向性も示唆しており、より広い「極限条件でのエッジAI」という考え方を強調している。
