Signals：エージェント的インタラクションのための軌跡サンプリングとトリアージ

要旨: 大規模言語モデルに基づくアジェンティック（agentic）アプリケーションは、計画、行動の実行、環境からのフィードバックを含む多段階の対話ループにますます依存するようになっている。こうしたシステムは現在、規模をもって導入されているが、導入後に改善することは依然として難しい。エージェントの軌跡（trajectory）は大容量で非決定的であり、それぞれを、人手によるレビューであれ補助的なLLMによるレビューであれ、確認することは遅く、コスト的にも過大である。私たちは、アジェンティックな相互作用の軌跡を仕分け（トリアージ）するための、軽量でシグナル（signal）ベースの枠組みを提案する。提案手法では、稼働中の相互作用から安価で広く適用可能なシグナルを計算し、それらを構造化された属性として軌跡トリアージに付与することで、オンラインのエージェント挙動に影響を与えずに、有益である可能性の高い相互作用を特定する。シグナルは、相互作用（不一致、停滞、離脱、満足）、実行（失敗、ループ）、環境（消耗）の3領域にまたがる粗い粒度の分類法として整理されており、モデル呼び出しを行わずに計算できるよう設計されている。 au-bench における制御されたアノテーション研究では、ツール拡張エージェント評価のための広く用いられているベンチマークにおいて、シグナルベースのサンプリングが、ヒューリスティックによるフィルタリングでの 74% およびランダムサンプリングでの 54% に対して 82% の情報性（informativeness）率を達成することを示す。さらに、情報性のある軌跡ごとに 1.52x の効率向上が得られる。その利点は、報酬（reward）の階層やタスク領域をまたいでも頑健であり、シグナルが明白な失敗を単に過剰にサンプリングしているだけではなく、軌跡ごとの真に情報性の向上をもたらしていることを確認する。これらの結果は、軽量なシグナルがアジェンティックなシステムの実用的なサンプリング基盤として機能し得ることを示しており、嗜好データ（preference data）の構築および導入後の最適化へ向けた道筋を示唆する。