DP^2-VL：データポイズニングによる視覚言語モデルのためのプライベート写真データセット保護
arXiv cs.CV / 2026/3/26
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、新たなプライバシー脅威「identity-affiliation learning（身元・所属関係学習）」を提案する。攻撃者は、標的のプライベート写真の少量セットを用いて視覚言語モデルを微調整し、内部表現の中に、顔の身元とプライベートな属性または社会的関係の間のリンクを埋め込む。
- この脅威に対する最初のベンチマークデータセットを提案する。7つの現実的なプライベート写真シナリオをカバーし、複数の「身元中心」の写真記述ペアを用意することで、公開APIとして展開されたVLMにおける情報漏えいリスクを評価できるようにする。
- 実験により、主流のVLM（LLaVA、Qwen-VL、MiniGPT-v2など）が、小規模なプライベートデータ、あるいは合成的に生成されたデータであっても、顔の身元を認識し、身元・所属関係を推定することを学習できることが示される。
- リスクを軽減するため、著者らはDP2-VLというデータセット保護フレームワークを提案する。これは、知覚できない撹乱を適用し、埋め込み空間のシフトを誘発するためにデータポイズニングを用いる。これにより、保護された画像に対して微調整しても、有用な漏えいが生成されるのではなく、過剰適合（オーバーフィット）に至るよう誘導する。
- DP2-VLは、モデル種類をまたいでうまく一般化でき、保護比率の違いや、さまざまなポストプロセッシング操作の下でも効果を維持することが報告されている。
