64GB の RAM & Podman と格闘しながら専用 ChatGPT を立てた話

Zenn / 4/26/2026

💬 OpinionDeveloper Stack & InfrastructureTools & Practical Usage

共有:

Key Points

64GB RAM環境とPodmanを使い、専用のChatGPT相当環境を自前で立ち上げる際に直面した試行錯誤を共有している。
コンテナ基盤（Podman）上でLLM/チャット機能を動かすための構成や運用上の「詰まりどころ」が中心で、手元環境での現実的な手順が示唆される。
「専用ChatGPT」を目指すことで、クラウド依存を減らしつつ自分の用途に合わせて環境を最適化する考え方が読み取れる。
マシンリソース（RAM）とコンテナ実行の相性・調整が成果を左右する点が、体験ベースで伝わる。

CPU だけで動く LLM サーバを 1 台構築した。GPU は予算の都合で次のフェーズなので、まずは CPU 推論でどこまでやれるかの検証フェーズだ。ハードウェアは i9-13900 + 64GB RAM。これで Qwen3.6 35B-A3B と GLM-4.7-Flash の 2 モデルを常駐させて、Open WebUI から LAN 経由でアクセスできるようにした、というのが今回のゴールである。書きながら何度もハマって設計を変えたので、その記録も含めて残しておく。同じ構成で LLM サーバーを立てたい人の参考になれば嬉しい。この記事のスコープ書くこと： AlmaL...

Continue reading this article on the original site.

Read original →