レート制限・フェイルオーバー・冗長化
LLM は外部依存・従量課金・たまに落ちる前提。本番では守りの設計が品質とコストを守ります。
レート制限
- プロバイダ側上限に当たる前に自前で制御（キュー/バックオフ）
- ユーザー単位のクォータで濫用・コスト暴走を防ぐ
レート制限・フェイルオーバー・冗長化
AI Navigate Original / 2026/5/16
要点
- LLM は外部依存・従量・たまに落ちる前提で守りを設計する
- プロバイダ上限前に自前制御し、ユーザー単位クォータを置く
- 障害時は代替モデルへ切替、バックオフ再試行、劣化時フォールバック
- 上限とキャッシュでコストを守り、影響大の変更は段階展開
