VisualLeakBench: 大規模ビジョン-ランゲージモデルのPII流出とソーシャルエンジニアリングに対する脆弱性を監査する

概要: 大型視覚言語モデル（LVLMs）はエージェント統合ワークフローやその他のデプロイメント関連設定でますます展開されており、それらの意味論的視覚攻撃に対する頑健性は依然として過小評価されている――アラインメントは通常、露骨な有害コンテンツに対してテストされることが多く、プライバシーに重大なマルチモーダルなシナリオには十分に評価されていない。私たちは VisualLeakBench を導入し、OCR 注入と文脈的PII漏洩に対して LVLMs を監査する評価スイートで、8種のPIIタイプを持つ1,000枚の合成生成敵対的画像を使用し、多様な視覚文脈にまたがる現実世界のスクリーンショット50点で検証する。私たちは Wilson の95%信頼区間を用いて、最前線システム（GPT-5.2、Claude~4、Gemini-3 Flash、Grok-4）を評価する。Claude~4 は最も低い OCR ASR（14.2%）を達成する一方で、最も高い PII ASR（74.4%）を示し、遵守-警告のパターンを示す――逐語的データ開示が安全性志向の言語に先行する。Grok-4 は最も低い PII ASR（20.4%）を達成する。防御的なシステムプロンプトは2つのモデルのPII漏洩を排除し、Claude~4 の漏洩を74.4%から2.2%へ低減する一方、合成データ上では Gemini-3 Flash には効果がない。驚くべきことに、IRL検証は Gemini-3 Flash が実世界の画像に対して緩和策に反応することを示しており（50%から0%）、緩和の頑健性はテンプレート依存であり、均一に欠如しているわけではないことを示唆している。私たちはデプロイメント関連の視覚言語システムの再現性のある頑健性と安全性評価のために、データセットとコードを公開する。