Cross-Context Verification：セッション分離分析によるベンチマーク汚染の階層的検出

Abstract

LLMコーディングベンチマークは信頼性の危機に直面している。広範な解答漏洩とテスト品質の問題がSWE-bench Verifiedを損ない、一方で既存の検出手法――言い換え整合性、n-gramの重なり、パープレキシティ分析――は、モデルが推論しているのか記憶しているのかを直接観測することは決してない。さらに、単に検証を繰り返すだけでは精度が低下する。多ターンのレビューは、真のエラーを発見するよりも速く誤検出（false positives）を生み出し、構造的アプローチが必要だということを示唆している。 本研究では、同一のベンチマーク問題をN個の独立したセッションで解き、解答の多様性を測定するブラックボックス手法「Cross-Context Verification（CCV）」を提案する。加えて、専門的な分析役割間で意図的に情報制限を行うことで、確認バイアスを防ぐ「Hierarchical Cross-Context Architecture（HCCA）」、複数アジェントによる分析フレームワークを導入する。 9つのSWE-bench Verified問題（45試行、Claude Opus 4.6、温度0）において、CCVは汚染された推論と真の推論の完全な分離を達成する（Mann-Whitney U=0、pは約0.012、r=1.0）。主要な発見は次の通りである：(1) 汚染は二値的であり、モデルは完全に想起するか、まったくできない；(2) 推論の不在は完全な識別器である；(3) 先行する汚染ラベルの33%は誤検出である；(4) HCCAの独立した分析構造は、単一の分析者アプローチでは見逃す「汚染×欠陥（contamination-flaw composite）」事例を発見する。HCCAを多段階検証（Worker→Verifier→Director）へ拡張するパイロット実験では否定的な結果が得られた――100%のお世辞的な確認（sycophantic confirmation）であった。これは、構造の複雑さではなく情報制限が主要なメカニズムであることを裏付けるさらなる証拠となる。全てのコードとデータを公開する。