なぜ今「ローカルLLM運用」なのか
クラウドLLMは手軽で高性能ですが、コストの見通しや機密データの取り扱い、レイテンシ（応答遅延）、そしてAPI制限が壁になることがあります。そこで注目されているのが、手元や自社環境で大規模言語モデル（LLM）を動かすセルフホスティングです。
ローカル運用の魅力は大きく3つあります。
- データを外に出さない：社内ドキュメントや顧客情報を扱うRAG（検索拡張生成）と相性が良い
- コストをコントロール：利用量が増えるほど従量課金より有利になりやすい
- 自分好みに最適化：モデル差し替え、量子化、推論設定、監視まで自由度が高い
この記事では、開発者が素早く触れるOllamaと、本番向けの高スループット推論サーバーであるvLLMを中心に、「動かす」だけで終わらない運用の勘所をまとめます。
全体像：OllamaとvLLMの使い分け
まずは役割をはっきりさせると迷いが減ります。
Ollama：ローカル開発とプロトタイピングの最短ルート
Ollamaは、モデルの取得・起動・実行をまとめて扱えるツールで、「とりあえずローカルで試す」に強いです。Mac/Windows/Linuxで導入しやすく、モデル管理もシンプル。チーム内でPoCを回すときに便利です。
vLLM：本番運用や高負荷に強い推論基盤
vLLMは推論最適化（特にPagedAttention）により、同一GPUでのスループットを稼ぎやすいサーバーです。OpenAI互換APIとして提供できる構成も多く、アプリ側の移行が比較的楽です。長時間稼働、同時リクエストが増えるケース、チームで運用するケースで真価が出ます。
おすすめの考え方
最初はOllamaでモデル選定→社内評価→要件が固まったらvLLMで本番、がスムーズです。
事前準備：ハードウェアとモデル選定の現実的な話
GPU/VRAMの目安
ローカルLLMは「モデルサイズ」と「量子化（精度を落として軽量化）」で必要リソースが変わります。ざっくり目安としては次のイメージです。
- 7B〜8B：量子化でVRAM 6〜10GB程度から現実的（開発・チャット用途）
- 13B〜14B：VRAM 12〜24GBが安心（品質と速度のバランス）
- 30B+：VRAM 48GB級、または複数GPUが視野（本気の推論基盤）
もちろんCPU推論もできますが、体感速度は用途次第です。社内ツールとして日常的に使うなら、GPU運用の方がストレスが少ないです。
モデルは「用途別」に割り切る
万能モデルを追いがちですが、運用では用途別が安定します。
- チャット/要約：汎用指示追従が得意なモデル
- コード補助：コードに強い系のモデル
- 社内QA：RAGの設計（検索品質）で当たり外れが決まることが多い
さらに「日本語品質」を重視するなら、日本語に強い派生モデルや、評価ベンチ（例：日本語の質問応答セット）で比較しておくと後で困りません。
