マルチターンLLMエージェントのための非対称アクター・クリティック

概要: 大規模言語モデル（LLM）は強い推論能力や会話能力を示しますが、多ターンのやり取りにおいて信頼できる挙動を保証することは依然として難題です。多くの実運用アプリケーションでは、エージェントはリトライが不可能なワンショット設定で成功する必要があります。既存の手法は、追加の試行を必要とするリフレクションや事後評価に依存しているか、あるいは、独自のLLMを活用できないために完全に学習可能なモデルを前提としています。そこで本研究では、信頼できる会話エージェントのための非対称なアクター・クリティック枠組みを提案します。強力な独自LLMをアクターとして用い、一方でより小型のオープンソースのクリティックが実行時の監督（runtime supervision）を提供し、同一の相互作用の軌跡（interaction trajectory）内でアクターの行動を監視し、介入します。学習ベースのアクター・クリティック手法とは異なり、私たちの枠組みは、開放的な会話環境において動作する固定されたアクターを監督します。設計は、生成と検証の非対称性を活用しています。すなわち、高品質な生成には大規模モデルが必要である一方で、効果的な監督はより小型のモデルで実現できる場合が多いのです。さらに、アクターを変更せずにクリティックの微調整（fine-tuning）を行うための監督信号を生成するデータ生成パイプラインも導入します。tau-benchおよびUserBenchでの実験では、本アプローチが強力な単一エージェントのベースラインに比べて、信頼性とタスク成功率を大幅に向上させることが示されています。加えて、軽量なオープンソースのクリティックは、クリティック役割において大規模な独自モデルと互角、あるいはそれを上回ります。また、クリティックの微調整によって、いくつかの最先端手法に比べて追加の改善が得られます。