AgentForge：自律的なソフトウェアエンジニアリングのための、実行に裏づけられたマルチエージェントLLMフレームワーク

要旨: 大規模言語モデルはもっともらしいコードを生成できますが、正しさを検証できません。既存のマルチエージェントシステムは、実行をシミュレートするか、あるいは検証を任意としています。本稿では、実行に根ざした検証を第一級の原則として導入します。つまり、コード変更は伝播させる前に、サンドボックス化された実行に耐えなければなりません。この原則を、AGENTFORGEというマルチエージェントのフレームワークに実装します。そこでは、Planner、Coder、Tester、Debugger、Criticの各エージェントが、共有メモリと必須のDockerサンドボックスを通じて協調します。LLMによるソフトウェア工学を、リポジトリ状態に対する反復的な意思決定プロセスとして形式化し、実行フィードバックを、次トークン尤度よりも強い監督シグナルとして位置づけます。AGENTFORGEは、SWE-BENCH Liteにおいて40.0\%の解決率を達成し、単一エージェントのベースラインを26--28ポイント上回ります。アブレーションにより、実行フィードバックと役割分解のそれぞれが独立して性能を押し上げることが確認されます。このフレームワークはオープンソースで、https://github.com/raja21068/AutoCodeAI です。