ClawTrace：コストを意識したトレーシングによるLLMエージェントのスキル蒸留

要旨: スキル蒸留パイプラインは、LLMエージェントの軌跡から再利用可能なルールを学習しますが、重要な信号を欠いています。それは、各ステップのコストがどれほどかという情報です。ステップごとのコストがないと、パイプラインはバグを直すために不足しているステップを追加することと、成果に一度も影響しなかった高価なステップを削除することとを区別できません。私たちは ClawTrace を導入します。ClawTrace は、エージェントセッション中に行われたすべての LLM 呼び出し、ツールの使用、およびサブエージェントの生成を記録し、各セッションを TraceCard にコンパイルするエージェント追跡プラットフォームです。TraceCard は、ステップごとの USD コスト、トークン数、および冗長性フラグを含むコンパクトな YAML 要約です。ClawTrace 上に構築された CostCraft は、TraceCard を読み取り、3種類のスキルパッチを生成する蒸留パイプラインです。成功につながった挙動を保持する preserve パッチ。重要でなかった高価なステップを削除する prune パッチで、それぞれは名前が付けられた高コストのステップに対する反実仮想的な（counterfactual）論証によって裏付けられています。そして oracle の証拠に基づく失敗を修正する repair パッチです。30個の保持データ（held-out）SpreadsheetBench タスクに対するアブレーションでは、コスト帰属と prune パッチの両方が、品質の退行（regression）を独立して低減することが示されました。同じスキルを 30 個の無関係な SkillsBench タスクに適用すると、思いがけない非対称性が現れます。prune ルールはベンチマークをまたいで転移し、中央値のコストを32%削減しました。一方、ベンチマーク固有の慣習に基づいて学習された preserve ルールは、新しいタスクタイプに対して退行を引き起こしました。私たちは、コストを意識したエージェント研究のためのオープンなインフラとして ClawTrace と TraceCards を公開します。