行動型キャナリア：RLファインチューニングにおけるプライベートに回収された文脈の利用監査

概要: エージェント型ワークフローでは、LLMが、法的に追加学習から保護された取得済みコンテキストを処理することが頻繁にあります。しかし現在、監査人には、強化学習（RL）を通じて、事後学習にこれらのデータを組み込むことで、提供者が利用規約に違反したかどうかを信頼性高く検証する方法がありません。標準的な監査は逐語的な記憶（verbatim memorization）やメンバーシップ推論に依拠していますが、これらの方法はRLで学習されたモデルには効果がありません。というのも、RLは特定の事実の保持ではなく、主にモデルの振る舞い上のスタイルに影響を与えるためです。このギャップを埋めるために、本研究ではRLFTパイプライン向けの新しい監査機構であるBehavioral Canaries（行動的カナリア）を導入します。提案フレームワークは、文書トリガーと、特徴的なスタイリスティックな応答を報いるフィードバックを組にして、選好データを計測（インスツルメント）します。これにより、もし当該データが学習に使われた場合、潜在的なトリガー条件付きの選好が誘発されます。実験結果は、これらの行動シグナルにより、許可されていない文書条件付きの学習を検出できることを示し、偽陽性率10%で検出率67%（AUROC = 0.756）を達成し、さらにカナリア注入率1%での性能を実現しています。より一般には、本研究の結果は、行動的カナリアをRLFTパイプライン向けの新しい監査機構として確立し、記憶（memorization）ではなく分布的な振る舞いの変化として現れる場合であっても、監査人が学習時の影響をテストできることを可能にします。