エージェントトレース分析のためのビュー指向会話コンパイラ

Abstract

エージェントのトレースは、コンテキスト学習やハーネス駆動のエージェント的認知の時代において、分析的価値がますます高まっている。しかし、従来の研究の多くは、会話フォーマットを些細な工学上の詳細として扱ってきた。現代のエージェント会話には、入れ子になったツール呼び出しとその結果、推論の連鎖（chain-of-thought）の推論ブロック、サブエージェントの呼び出し、コンテキストウィンドウの圧縮（コンパクション）境界、ハーネスによって注入されるシステム指示など、深く構造化された内容が含まれており、その複雑さは単純なユーザとアシスタントのやり取りをはるかに上回る。こうしたトレースをプレーンテキスト、JSON、YAML、あるいは grep によって反射器（リフレクタ）やその他の分析メカニズムに入力すると、分析品質が実質的に低下しうる。本論文では VCC（View-oriented Conversation Compiler）を提案する。これは（lex、parse、IR、lower、emit という）コンパイラであり、生のエージェント JSONL ログを、一連の構造化されたビューへと変換する。すなわち、完全ビュー（損失のない書き起こしであり、正準となる行番号座標系として機能する）、ユーザインタフェースビュー（ユーザが実際に認識したとおりに相互作用を再構成する）、そして適応ビュー（関連性述語によって制御される、構造保持型の射影）である。AppWorld におけるコンテキスト学習の実験では、反射器の入力フォーマットのみを、生の JSONL から VCC によってコンパイルされたビューへ置き換えると、テストした3つのモデル設定すべてにおいて合格率が向上する。また、反射器のトークン消費は半分から3分の2へと削減でき、さらにより簡潔な学習済みメモリが得られる。これらの結果は、メッセージフォーマットがコンテキスト学習のためのインフラとして機能するのであって、偶発的な実装上の選択にすぎないわけではないことを示唆している。