GUIエージェントは十分に対策されているのか？セマンティックレベルのUI要素注入による自動的な注意散漫化

要旨: GUIエージェントに関する既存のレッドチーミング研究には重要な限界があります。敵対的摂動は通常ホワイトボックスのアクセスを必要としますが、これは商用システムでは利用できません。一方で、プロンプトインジェクションは、より強力な安全性アライメントによってますます軽減されています。より実用的な脅威モデルの下で頑健性を調べるために、私たちはSemantic-level UI Element Injection（意味レベルのUI要素インジェクション）を提案します。これは、エージェントの視覚的グラウンディングを誤誘導するために、安全にアライメントされた有害でないUI要素をスクリーンショットに重ね合わせるレッドチーミングの設定です。私たちの手法は、モジュール化されたEditor-Overlapper-Victimパイプラインと、複数の候補編集をサンプルする反復的な探索手順を用います。累積的なオーバーレイのうち最良のものを維持し、過去の失敗に基づいて将来のプロンプト戦略を適応させます。5つの被攻撃モデルに対して、最適化された攻撃は、最も強い被攻撃モデルにおけるランダムインジェクションよりも攻撃成功率を最大4.4倍改善します。さらに、あるソースモデルで最適化された要素は、他のターゲットモデルにも効果的に転移され、モデルに依存しない脆弱性が示唆されます。最初の攻撃が成功した後でも、被攻撃者はその後の独立した試行において15%以上の確率で攻撃者が制御する要素をクリックします。これはランダムインジェクションが1%未満であるのに対し、インジェクトされた要素が単なる視覚的な雑音ではなく、持続的なアトラクタとして機能していることを示しています。