LiteLLM Proxy を Cloud Run + Cloud SQL で構築する（Terraform で全理）
Zenn / 4/4/2026
💬 OpinionDeveloper Stack & InfrastructureTools & Practical Usage
Key Points
- LiteLLM ProxyをCloud Run上で動かし、Cloud SQLと組み合わせてLLM APIの呼び出しを集約・制御する構成を解説しています。
- 認証/接続やプロキシ設定、環境変数など、実運用に必要な設定をCloud Run側と連携させる手順が中心です。
- Terraformでインフラ一式を定義し、デプロイの再現性と管理性を高める方針が示されています。
- LLM利用の入口をProxyに寄せることで、後からモデル/ベンダー差し替えや運用方針変更をしやすくする設計になっています。
LiteLLM Proxy を Google Cloud に載せる: Cloud Run + Cloud SQL(PostgreSQL) + Terraform で最小構成を作る
はじめに
LLM を使ったアプリケーション開発では、OpenAI・Anthropic・Google など複数のプロバイダーを切り替えて使いたい場面が増えています。
そんなときに便利なのが LiteLLM Proxy です。
LiteLLM Proxy は OpenAI 互換 API を提供するゲートウェイで、アプリケーション側は OpenAI SDK のまま、バックエンドのモデルだけを差し替えられます。...
Continue reading this article on the original site.
Read original →
