プランナーこそ重要！長期計画のための効率的で不均衡なマルチエージェント協調フレームワーク

Abstract

言語モデル（LM）ベースのエージェントは、自然言語による指示から複雑なタスクを自動化する能力において有望な成果を示している一方で、長期的な計画と推論では依然として苦戦しています。これに対処するために、オートメーションを3つの役割に分解する強化されたマルチエージェントフレームワークを提案します。すなわち、高レベルの意思決定を行うプランナー、タスクを実行するアクター、文脈に基づく推論のためのメモリマネージャです。このモジュール分解は既存の設計パターンと整合していますが、私たちの主要な貢献は、計算資源の割り当てを体系的に分析することにあります。その結果、計画がタスク性能を左右する支配的な要因であることが明らかになります。実行およびメモリ管理は、競争力のある結果を得るのに、計算量やモデル容量を大幅に少なくする必要があります。これらの知見に基づき、プランナー中心の強化学習アプローチを導入します。これは、VLM-as-judgeによる軌跡（トラジェクトリ）レベルの報酬を用いてプランナーのみを最適化し、他の構成要素は固定したままにします。ウェブナビゲーション、OS制御、ツール利用にまたがるベンチマークでの大規模な実験により、高レベル計画に対してモデル容量と学習を集中させることで、長期的なエージェント自動化において堅牢で計算効率の高い改善が得られることが示されます。私たちのコードは公開されています。