v1.82.5.dev.1

LiteLLM Releases / 2026/3/24

📰 ニュースDeveloper Stack & InfrastructureTools & Practical UsageModels & Research

要点

  • Anthropic 関連の修正により、リクエストを OpenAI Responses API にルーティングする際に `thinking.summary` が保持され、翻訳/ルーティング中に構造化された推論サマリが失われないようになりました。
  • API とドキュメントが更新され、`/v1/messages` および推論ドキュメントに `thinking.summary` フィールドを含めることで、推論メタデータを消費するクライアントとの一貫性が向上しました。
  • Gemini の修正により、使用量メタデータにおける画像トークンの過少カウントが是正され、報告されるトークン使用量の精度が向上しました。
  • Anthropic では、新しいオプトアウトフラグが追加され、既定の推論サマリ生成を無効化できるようになり、サマリを注入するかどうかについてユーザーのより細かな制御が可能になりました。
  • 追加の Anthropic アラインメント作業により、`translate_thinking_for_model` の挙動が既定のサマリ注入ロジックおよび対応するドキュメントと一致するよう更新されました。

変更点

  • fix(anthropic): OpenAI Responses API へルーティングする際に、thinking.summary を保持するように修正 by @Chesars in #21441
  • docs: /v1/messages および reasoning のドキュメントに thinking.summary フィールドを追加 by @Chesars in #22823
  • fix(gemini): usage メタデータにおける画像トークンの過小カウントを解消 by @gustipardo in #22608
  • feat(anthropic): デフォルトの reasoning summary のオプトアウトフラグを追加 by @Chesars in #22904
  • fix(anthropic): translate_thinking_for_model をデフォルトの summary インジェクション + ドキュメントに合わせるように修正 by @Chesars in #22909
  • fix(fireworks): base64 データ URL に対して #transform=inline をスキップするように修正 by @awais786 in #23729
  • fix(langsmith): sync init 中に running していない event loop を回避する by @pandego in #23727
  • fix(gemini): /v1/messages のルーティングにおける tool_results で画像をサポート by @awais786 in #23724
  • fix(model-prices): Vertex AI DeepSeek モデルの supported_regions を修正 by @Chesars in #23864
  • fix(model-prices): gpt-4-0314 を復元 by @Chesars in #23753
  • fix(cache): Redis クラスタのキャッシュを修正 by @cohml in #23480
  • fix(proxy): 環境変数経由で設定された場合に @rstar327#23855 で行った変更により、max_budget を float に変換する
  • LiteLLM に Akto Guardrails を追加 by @rzeta-10 in #23250
  • fix(core): Anthropic の「refusal」finish reason を「content_filter」にマッピング by @Chesars in #23899
  • fix(vertex): gemini-3.1-flash-lite-preview では streaming の finish_reason='tool_calls' ではなく 'stop' を使用するようにする by @Chesars in #23895
  • fix: Chat Completion のファイルタイプを Responses API の input_file にマッピングする by @gambletan in #23618
  • fix(vertex): Claude の count_tokens で vertex_count_tokens_location を尊重する by @Chesars in #23907
  • fix(anthropic): ファイルタイプのコンテンツブロックにおけるキャッシュ指示(cache directive)を保持する by @Chesars in #23906
  • fix(mistral): 識別(diarization)のセグメントを文字起こしレスポンスで保持する by @Chesars in #23925
  • fix(gemini): カスタム api_base のために、コンテキストキャッシュ URL ビルダーへ model を渡す by @Chesars in #23928
  • fix(azure): gpt-5.4+ の tools+reasoning を Responses API に自動ルーティングする by @Chesars in #23926
  • main をマージ by @Sameerlite in #24119
  • [Test] UI: @yuneng-jiang#24144 で、未テストのコンポーネント10個に対する vitest のカバレッジを追加
  • [Refactor] UI - API Reference: @yuneng-jiang#24155 で、パスベースのルーティングへ移行
  • [Fix] UI: @yuneng-jiang#24192 で、AntD のメッセージが表示されない問題を修正
  • [Feature] UI - Teams: @yuneng-jiang#24189 で、Teams テーブルをモダナイズ
  • [Refactor] ChatUI.tsx から useChatHistory フックを抽出 by @yuneng-jiang in #24172
  • Day 0: gpt 5.4 mini と nano のサポート by @Sameerlite in #23958
  • [feat] responses API のためのプロンプト管理サポートを追加 by @Sameerlite in #23999
  • docs(vertex): PayGo/Priority のチュートリアルとコスト追跡のフローダイアグラムを追加 Litellm vertex paygo チュートリアル by @Sameerlite in #24009
  • feat(file_search): エミュレートされた Responses の挙動をネイティブ出力と揃える by @Sameerlite in #23969
  • fix(proxy): 管理者以外のユーザー向けに subpath のパススルー認証を行う by @Sameerlite in #24079
  • fix(polling): ポーリング ID を作成する前にレート制限をチェックする by @Sameerlite in #24106
  • docs: encrypted_content_affinity の最小バージョンを @milan-berri#23854 で追加
  • feat(router): モデルグループごとのデプロイメント親和性を @Sameerlite#24110 で追加
  • Litellm fix: 役割(role)の交互パターンを @Sameerlite#24015 で修正
  • fix(bedrock): count_tokens エンドポイントで api_base と aws_bedrock_runtime_endpoint を @stias#24199 で考慮するように修正
  • fix(gemini-embeddings): Gemini API 用に task_type を camelCase の taskType に変換する @christopherbaer#24191 で修正
  • fix(vertex-ai): Vertex API によるバッチキャンセルをサポートする @Sameerlite#23957 で修正
  • fix(azure-ai-agents): Bing Search のグラウンディング応答で注釈(annotations)を保持する @Sameerlite#23939 で修正
  • fix(logging): ストリーミングリクエスト用に hidden_params をメタデータへマージする @milan-berri#24220 で修正
  • docs(pricing): Azure DeepSeek と & Cohere の公式ソースリンクを追加 … @Jayachander123#20181 で追加
  • fix(transcription): 音声文字起こしモデルの cost_per_second 計算を修正する @gvioss#23842 で修正
  • fix(moonshot): マルチターンのツール呼び出し(multi-turn tool calls)で Pydantic Message オブジェクト上の reasoning_content を保持する @BillionClaw#23828 で修正
  • fix(proxy): @michelligabriele による #23484 内で、NewTeamRequest に team_member_budget_duration を追加
  • [Feature] Team MCP Server Manager ロール by @yuneng-jiang による #24171
  • [Docs] new_team の docstring に missing team_member_budget_duration パラメータを追加 by @yuneng-jiang による #24243
  • feat: マルチプロキシのワーカ管理のためのコントロールプレーンを追加 by @ryan-crabbe による #24217
  • Revert "[Feature] Team MCP Server Manager Role" by @yuneng-jiang による #24255
  • fix(test): anthropic のファイルコンテンツテストで get_api_key の代わりに get_auth_header をモックする by @joereyna による #24258
  • [Infra] internal の開発ブランチを main にマージ by @yuneng-jiang による #24260
  • [Feature] 外部コールバックへの Audit Log エクスポートを追加 by @yuneng-jiang による #23167
  • fix(adapter): Anthropic アダプタの OpenAI strict モードで追加の additionalProperties: false を追加 by @Chesars による #24072
  • feat(gemini): サーバーサイドのツール結合のための context circulation をサポート by @Chesars による #24073
  • feat(bedrock): tool_config の配置場所に対して cache_control_injection_points をサポート by @Chesars による #24076
  • Revert "fix(transcription): fix cost_per_second calculation for audio transcription models" by @Sameerlite in #24297
  • Litellm create key tags dropdown を @ryan-crabbe により修正(#24273
  • Litellm oss staging 03 19 2026 by @krrishdholakia in #24174
  • docs: Gemini/Vertex AI のプロンプトキャッシュ対応をドキュメントに追加 by @krrishdholakia in #24222
  • fix: ルートロガー経由でグローバルなシークレットの秘匿化 + key-name ベースのパターンマッチング by @ryan-crabbe in #24305
  • polish: 内部ユーザーテーブルのユーザーIDにクリックしてコピーするアイコンを追加 by @ryan-crabbe in #24315
  • polish: v3 ログインフォームのフィールドから必須のアスタリスクを削除 by @ryan-crabbe in #24318
  • Litellm ishaan march 20 by @ishaan-jaff in #24303
  • fix(fireworks): base64 データ URL に対して #transform=inline をスキップ (#23729) by @krrishdholakia in #23818
  • fix(proxy): 集約された日次アクティビティのエンドポイントにおける per-entity(エンティティごとの)内訳を復元 by @michelligabriele in #23471
  • Litellm oss staging 03 05 2026 by @krrishdholakia in #22844
  • Litellm dev 同日 3月16週、@Sameerlite による #24211
  • litellm ryan 3月20日、@ryan-crabbe による #24323
  • [Infra] リリース用UIの構築、@yuneng-jiang による #24334
  • [Fix] UI - Teams: テーブルの更新、無限ドロップダウン、左ナビゲーションの移行、@yuneng-jiang による #24342
  • 新規コントリビューター

  • @BillionClaw#23828 で初めて貢献しました。
  • Full Changelog: v1.82.3.dev.2...v1.82.5.dev.1