サプライチェーン攻撃の後:litellm の代替案はこちら

Reddit r/LocalLLaMA / 2026/3/25

💬 オピニオンDeveloper Stack & InfrastructureSignals & Early TrendsTools & Practical Usage

要点

  • 記事では、PyPI上の litellm バージョン 1.82.7 および 1.82.8 が、サプライチェーン攻撃によって資格情報を盗み取るマルウェアにより侵害されていたと警告しています。
  • オープンソースの代替案を推奨しており、最初に Bifrost を挙げています。Bifrost は Go ベースの litellm 代替で、実質的に低いレイテンシを主張し、単純な base-URL の移行で対応できるとしています。
  • 複数のプロバイダーにまたがって、メッセージ形式を統一し、非同期ツールのオーケストレーションを統合することで、よりエージェント志向のワークフローを実現するための LLM アブストラクションレイヤーとして Kosong を紹介しています。
  • また、分析、デバッグ、観測性(オブザーバビリティ)に重点を置いた AI ゲートウェイとして Helicone も提案しています。多くのプロバイダーをサポートしますが、最初の2つの選択肢よりオーバーヘッドが高いとしています。
供給網攻撃の後、いくつかのlitellm代替案

PyPI上のlitellmバージョン1.82.7と1.82.8は、資格情報を盗み取るマルウェアによって侵害されました。

以下に、いくつかのオープンソース代替案を紹介します:

1. Bifrost: おそらく現時点で最も直接的なlitellmの置き換えです。Goで書かれており、litellmよりもP99レイテンシが約50倍速いと主張しています。Apache 2.0ライセンスで、20以上のプロバイダをサポートします。litellmからの移行は、ベースURLを1行だけ変更するだけで済みます。

2. Kosong: Kimiによってオープンソース化されたLLM抽象化レイヤーで、Kimi CLIで使用されています。litellmよりもエージェント指向です。メッセージ構造を統一し、プラグイン可能なチャットプロバイダとともに非同期ツールオーケストレーションを実現します。OpenAI、Anthropic、Google Vertex、その他のAPI形式をサポートしています。

3. Helicone: 強力な分析とデバッグ機能を備えたAIゲートウェイです。100以上のプロバイダをサポートしています。最初の2つよりは重いですが、観測可能性(observability)の面ではより多機能です。

投稿者 /u/KissWild
[リンク] [コメント]