Abstract
再帰的またはループ型の言語モデルは、潜在状態において同一のモデル計算を反復的に洗練することで推論を深めることにより、最近、新たなスケーリング軸として登場してきました。本研究では、このようなスケーリング原理を、単一モデルからマルチエージェント・システムへ拡張し、問いを設定します。すなわち、エージェントの協調そのものは再帰によってスケールできるのでしょうか？この目的のために、システム全体を統一された潜在空間における再帰的計算として捉える、再帰的マルチエージェント枠組み RecursiveMAS を提案します。RecursiveMAS は、軽量な RecursiveLink モジュールを介して、異種のエージェントを協調ループとして接続し、分布内での潜在的思考の生成と、エージェント間の潜在状態の転送を可能にします。本枠組みを最適化するために、再帰ラウンドをまたいだ共有の勾配ベースの信用割当によって、反復的なシステム全体の共同最適化を行う内側・外側ループ学習アルゴリズムを開発します。計算時間の複雑性と学習ダイナミクスに関する理論解析により、RecursiveMAS は標準的なテキストベースの MAS よりも効率的であり、再帰的学習中も勾配が安定していることを示します。実験的には、RecursiveMAS を 4 つの代表的なエージェント協調パターンで具体化し、数学、科学、医学、探索、コード生成にわたる 9 つのベンチマークで評価します。先進的な単一/マルチエージェントおよび再帰計算のベースラインと比較して、RecursiveMAS は一貫して平均精度を 8.3% 改善し、さらに 1.2 imes-2.4 imes のエンドツーエンド推論速度向上と、34.6%-75.6% のトークン使用量削減を同時に達成します。コードとデータは https://recursivemas.github.io で提供します。
