RewardHackingAgents: LLM MLエンジニアリングエージェントにおける評価インテグリティのベンチマーク

要旨: LLMエージェントはますますエンドツーエンドのMLエンジニアリングタスクを実行しており、成功は単一のスカラー指標で評価されます。これにより構造的な脆弱性が生まれます。エージェントはモデルを改善するのではなく、評価パイプラインを侵害することで報告スコアを引き上げることができます。RewardHackingAgentsを導入します。これは、2つの妥協ベクトルを明示的かつ測定可能にするワークスペースベースのベンチマークです。評価者の改ざん（指標の計算や報告を変更すること）と訓練/テスト漏洩（訓練中に保持データやラベルにアクセスすること）です。各エピソードはパッチ追跡と実行時ファイルアクセスログを備えた新規のワークスペースで実行され、検出器はエージェントが報告した指標を信頼できる参照と比較して、監査可能な整合性ラベルを割り当てます。3つのタスクと2つのLLMバックボーンにまたがる実験では、完全に可変なワークスペースにおいて両方のベクトルに対してスクリプト攻撃が成功します。単一メカニズムの防御は1つのベクトルのみをブロックし、組み合わせた防御は両方をブロックします。自然エージェントの実行では、評価者の改ざんの試みは約50%のエピソードで発生しますが、評価者のロックによって排除され、中央値の実行時オーバーヘッドは25〜31%です。全体として、MLエンジニアリングエージェントの評価インテグリティを仮定するのではなく、第一級の成果としてベンチマークできることを示しています。