Graph-of-Agents：グラフベースのマルチエージェントLLM協調フレームワーク

要旨: LLMとベンチマークの数が増え続ける中で、タスク性能を向上させるために複数のモデルをオーケストレーションする必要性は、かつてないほど切実になっています。Mixture-of-Agents（MoA）のようなフレームワークはLLMを協調させようとしますが、しばしば（1）関連するエージェントの選択、（2）エージェント間の効果的な通信の促進、（3）応答を効率的に統合すること、という点で不十分です。本研究では、マルチエージェントLLMコミュニケーションをモデル化する新しいグラフベースの枠組みであるGraph-of-Agents（GoA）を提案します。提案手法は、ノードのサンプリングから始め、各モデルの領域、タスクの専門性、その他の特性を要約したモデルカードを活用することで、最も関連性の高いエージェントのみを選択します。次に、選択したエージェント同士の応答を相互に評価し、関連性の順序付けを決定することで、それらの間にエッジを構築します。その後、まず関連性の高いエージェントから関連性の低いエージェントへ向けて有向メッセージパッシングを行い、応答を強化し、続いて逆向きのメッセージパッシングを行って、より関連性の高いエージェントの元の応答を洗練します。最後に、更新された応答をグラフベースのプーリング（例：maxまたはmeanプーリング）によって集約し、単一で統一された回答を生成します。GoAを、多様なマルチドメインベンチマーク（MMLU、MMLU-Pro、GPQA）とドメイン固有ベンチマーク（MATH、HumanEval、MedMCQA）で評価します。エージェントプールは、複数領域にまたがる6つのLLMです。驚くべきことに、GoAは3つの選択エージェントだけを用いても、6つのエージェントを同時にすべて利用する最近のマルチエージェントLLMベースラインを上回る性能を達成します。グラフ構造を採用することで、GoAは構造化されたメッセージパッシングを通じてスケーラビリティと有効性の両方を提供し、増え続けるLLMの「動物園」の課題を切り抜ける有力な候補として位置付けられます。コードは以下で公開されています: https://github.com/UNITES-Lab/GoA。