Orla: LLMベースのマルチエージェントシステムを提供するライブラリ

概要：Orlaを紹介します。LLMベースのエージェント型システムを構築・実行するためのライブラリです。現代のエージェント型アプリケーションは、複数のLLM推論ステップ、ツール呼び出し、および異種のインフラストラクチャを組み合わせたワークフローで構成されます。今日、開発者は通常、LLMサービングエンジンとツール実行ロジックを組み合わせたオーケストレーションコードを手動で組み立てることによってこれらのシステムを構築します。Orlaは、リクエストの実行をワークフロー全体のポリシーと分離する一般的な抽象を提供します。既存のLLM推論エンジンの上にサービス層として機能します：開発者はステージで構成されるワークフローを定義しますが、Orlaはそれらのステージがどのモデルとバックエンドにマッピングされ、実行され、調整されるかを管理します。Orlaは3つの機構を通じてエージェントレベルの制御を提供します：ステージマッパー（各ステージを適切なモデルとバックエンドに割り当てるもの）; ワークフローオーケストレーター（ステージをスケジュールし、リソースと文脈を管理するもの）; メモリマネージャー（KVキャッシュなど、ワークフロー境界を越えた推論状態を管理するもの）。Orlaの多くの機能を体験するカスタマーサポートのワークフローを用いてOrlaをデモンストレーションします。2つのデータセットでOrlaを評価し、ステージマッピングが単一モデルのvLLMベースラインと比較してレイテンシとコストを改善すること、ワークフロー全体のキャッシュ管理が最初のトークンまでの時間を短縮することを示します。