ReSum：コンテキスト要約によって長期ホライゾンの検索インテリジェンスを解き放つ

アブストラクト: 大規模言語モデル（LLM）ベースのWebエージェントは知識集約的タスクにおいて優れた性能を発揮しますが、広範な探索の必要性と、限られたコンテキストウィンドウという制約との間に、根本的な対立があります。現在の解決策は一般に、内部メモリトークンなどのアーキテクチャ修正に依存しており、既存のエージェントとの互換性を損ない、費用のかかるエンドツーエンドの再学習を要します。これらの制約を克服するために、ReSumという軽量でプラグアンドプレイ可能なパラダイムを導入します。このパラダイムは、外部ツールを定期的に呼び出して、相互作用履歴をコンパクトな要約へと圧縮することで、無制限の探索を可能にします。このパラダイムは学習なしで機能しますが、標準的なエージェントは、こうした圧縮されたコンテキスト上で推論するようには本質的に整合していません。このギャップを埋めるために、我々はReSum-GRPOを提案します。これは、Group Relative Policy Optimization（GRPO）をアドバンテージ・ブロードキャスティングによって適応し、分割された軌道にわたって最終的な報酬を伝播させることで、長いホライズンにおけるクレジット割り当てを可能にします。大規模な実験の結果、ReSumは学習なしの設定でReActに対して4.5%の改善を達成し、ReSum-GRPOはさらに8.2%の向上をもたらすことが示されました。特筆すべきことに、わずか1Kの学習サンプルのみで、ReSum強化の30Bエージェントが主要なオープンソースモデルと競争力のある性能を示し、ReSumの有効性が裏付けられます。