言語エージェントにおける政策と内部報酬の共進化

要旨: 大規模言語モデル（LLM）エージェントは環境と相互作用することで学習しますが、長いホライズンの学習は、本質的にまばらで遅延した報酬によってボトルネックになります。既存の手法は通常、この課題に対して事後的な信用割当（credit assignment）や外部の報酬モデルによって対処しますが、これらは推論時のガイダンスとしては限定的であることが多く、報酬の改善と方策（ポリシー）の改善がしばしば分離されます。我々は、言語エージェントのための自己生成内部報酬（Self-Guide）を提案します。Self-Guideは、推論時のガイダンスと学習時の監督の両方を支援します。具体的には、エージェントは推論中に Self-Guide を短い自己ガイダンス信号として用いて次の行動を誘導し、同じ信号を学習中のより密な方策最適化のためのステップ単位の内部報酬へと変換します。これにより、共進化するループが形成されます。すなわち、より良い方策がより良いガイダンスを生み、より良いガイダンスが内部報酬としてさらに方策を改善します。3つのエージェント・ベンチマークにおいて、推論時の自己ガイダンスだけでも明確な向上が得られます。一方、GRPOにより方策と内部報酬を共同で進化させることで、環境報酬のみで訓練したベースラインに対してさらに改善（8\%）が得られます。総じて、我々の結果は、言語エージェントが経験をより多く集めることだけでなく、行動と学習の過程において自身の内部報酬を生成し、洗練させることによっても改善できることを示唆しています。