効率的なLLMツール利用のためのユーティリティ指向エージェントオーケストレーション

要旨: ツールを使用する大規模言語モデル（LLM）エージェントは、回答品質と実行コストの間に根本的な緊張をしばしば直面します。固定されたワークフローは安定していますが柔軟性に欠け、ReAct のような自由形式の多段階推論手法は、過度なツール呼び出し、長い推論経路、より多くのトークン消費、そして遅延の増大を伴って、タスクの性能を向上させる可能性があります。本論文では、エージェントのオーケストレーションを、プロンプトレベルの挙動だけに任せるのではなく、明示的な意思決定問題として研究します。推定される利得、ステップコスト、不確実性、冗長性をバランスさせつつ、応答、取得、ツール呼び出し、検証、停止といったアクションの中から選択する、ユーティリティに基づくオーケストレーション方針を提案します。私たちの目的は、普遍的に最良のタスク性能を主張することではなく、ツールを使用するLLMエージェントにおける品質とコストのトレードオフを研究するための、制御可能で解析可能なポリシーフレームワークを提供することです。直接回答、閾値制御、固定ワークフロー、ReAct、およびいくつかのポリシー変種にわたる実験は、明示的なオーケストレーション信号がエージェントの挙動に大きく影響することを示しています。追加分析として、コスト定義、ワークフローの公正性、および冗長性の制御を扱い、軽量なユーティリティ設計がエージェント制御の正当で実用的な機構を提供し得ることをさらに示しています。