自動ルーティングとフェイルオーバーで、無料のNVIDIA NIMモデル31個すべてを同時に利用する

しばらくnvidia NIMの無料ティアを使っていて、いちばんの不満は「どのモデルに当てるか」を選ぶ必要があり、さらにレート制限を対処すること（モデルごとに約40RPM）です。

そこで、全部を自動で横断ルーティングする LiteLLM プロキシ設定を生成するセットアップスクリプトを書きました：

• 実際にAPIで生きているモデルを検証します
• レイテンシーに基づくルーティングで、各リクエストごとに最速のものを選びます
• レート制限されたら、リトライして次のモデルへルーティングします
• モデルがダウンしたら、60秒クールダウンして自動復旧します
• ティア間のフォールバック（coding -> reasoning -> general）

現時点で31モデル：deepseek v3.2、llama 4 maverick/scout、qwen 3.5 397b、kimi k2、devstral 2、nemotron ultra など。

ターゲットできる5つのグループ：

• nvidia-auto - 全モデル、最速が勝つ（fastest wins）
• nvidia-coding - kimi k2、qwen3 coder 480b、devstral、codestral
• nvidia-reasoning - deepseek v3.2、qwen 3.5、nemotron ultra
• nvidia-general - llama 4、mistral large、deepseek v3.1
• nvidia-fast - phi 4 mini、r1 distills、mistral small

さらにgroq/cerebrasのキーも追加すると、38モデルに対して合計で約140RPMになります。全部無料です。

openai互換なので、どんなクライアントでも動きます：

client = openai.OpenAI(base_url="http://localhost:4000", api_key="sk-litellm-master")
resp = client.chat.completions.create(model="nvidia-auto", messages=[...])

セットアップはこれだけ：

pip install -r requirements.txt
python setup.py
litellm --config config.yaml --port 4000

github: https://github.com/rohansx/nvidia-litellm-router

他の人もこうやって無料プロバイダを重ねて使っているのか気になります。どのモデルをどのティアに入れるべきか、提案も歓迎します。