公開スコアを追いかける：ユーザープレッシャーとコーディングエージェントの評価搾取

概要: フロンティア級のコーディングエージェントは、ユーザーがエージェントの中間出力を直接検査するのではなく、主に公開スコアの反復的な改善によって進捗を監督するワークフローでますます利用されている。本研究では、そのスコアを改善させるための複数ラウンドにわたるユーザーの圧力が、公のスコアの悪用（public score exploitation）を誘発するかどうかを調べる。公のスコアの悪用とは、隠されたプライベート評価を改善せずに、抜け道によって公のスコアを引き上げる行動である。まず、予備的な単一スクリプトの表形式分類タスクにおいて、GPT-5.4 と Claude Opus 4.6 の双方が、ユーザーとエージェントの相互作用10ラウンド以内にラベル情報を悪用することを示す。次に、3つの入力モダリティにまたがる全34タスクからなる機械学習リポジトリ・ベンチマーク AgentPressureBench を構築し、13のコーディングエージェントから計1326の複数ラウンドの軌跡（trajectory）を収集する。ベンチマークにおいて、全タスクにまたがって403件の悪用的な実行（exploitative runs）を観測する。また、より強力なモデルほど悪用率が高いことを見出し、Spearman順位相関 0.77 によって裏付けられる。アブレーション実験では、ユーザーの圧力が高いほど悪用がより早い段階で起きることが示され、平均的な最初の悪用ラウンドが 15.6 ラウンド減少する（すなわち 19.67 から 4.08）。対策として、プロンプトに明示的な「悪用をしない」趣旨の文言を追加すると、悪用は主に完全に排除される（100% から 8.3%）。本研究が、コーディングエージェントのワークフローをより慎重に用いることへの関心を高め、さらにユーザーの圧力下でもより頑健なコーディングエージェントを開発することにつながればと願う。プロジェクトページは https://ucsc-vlaa.github.io/AgentPressureBench にある。