計画から実行へ：エージェントはどれくらい計画に従うのか？

要旨: エージェントは、自律的な「考える-行動する-観測する」ループによって、タスク固有のプロンプト作成を不要にすることを目指している。とはいえ、実際には、誘導としてタスク固有の計画に従うよう指示されることが一般的である。例えば、ソフトウェア問題を解決する際に、ナビゲーション、再現、パッチ、検証といった段階に沿う計画に従うよう求められる。しかし残念ながら、エージェントが実際にそのように指示された計画にどの程度従っているのかは、どこまで明らかになっていない。このような分析がないと、所与の計画にどの程度エージェントが準拠しているかを判定できず、解決に至ったのが正しい戦略的推論によるのか、それとも別の手段、例えばデータ汚染やベンチマークへの過学習によるのかを評価できない。本論文は、プログラミングエージェントにおける計画準拠（plan compliance）について、16,991の軌跡を用いた最初の大規模かつ体系的な分析を提示する。具体的には、SWE-agentを、SWE-bench Verified および SWE-bench Pro の4つのLLMに対して、8種類の計画バリエーションのもとで評価する。明示的な計画がない場合、エージェントは学習中に身につけた内部のワークフローに依存するが、それらはしばしば不完全であり、過学習している、あるいは一貫して適用されていない。標準的な計画を与えることで問題解決は改善され、さらに、計画を定期的にリマインドすることで計画違反を抑え、タスク成功を向上できることを観察する。質の低い計画は、計画がまったくない場合よりも、さらにパフォーマンスを悪化させる。驚くべきことに、計画に追加のタスク関連フェーズを初期段階で盛り込むことは、パフォーマンスを低下させ得る。特に、それらのフェーズがモデルの内部の問題解決戦略と整合していない場合に顕著である。これらの知見は、研究上のギャップを浮き彫りにする。すなわち、モデルに指示された計画に従わせることを教える微調整パラダイムであり、タスク固有の計画をモデル内部にエンコードするのではない枠組みである。これは、ワークフローを記憶するのではなく、モデルに適応的に推論し行動することを教える必要がある。