拡散モデルによるビジョン・ランゲージモデルへのクリーンラベル・バックドア攻撃（CBV）

概要: 画像キャプション生成や視覚質問応答（VQA）のようなタスクにおいて、ビジョン・言語モデル（VLMs）は目覚ましい成功を収めてきました。しかし、適用がますます広まるにつれ、最近の研究により、VLMはバックドア攻撃に対して脆弱であることが明らかになっています。VLMに対する既存のバックドア攻撃は主に、視覚トリガーを追加し、テキストラベルを変更することでデータ汚染を行うことに依存しています。このとき、誘発された画像—テキストの不一致により、汚染されたサンプルは検出しやすくなります。この制約に対処するために、拡散モデルを介したVLMに対するクリーンラベル・バックドア攻撃（CBV）を提案します。CBVはスコアマッチングにより自然な汚染例を生成するために、拡散モデルを活用します。具体的には、CBVは拡散モデルの逆生成プロセス中にスコアを修正し、トリガーされた画像特徴を含む汚染サンプルが生成されるよう誘導します。さらに攻撃の有効性を高めるために、生成中のマルチモーダルなガイダンスとして、トリガーされた画像のテキスト情報を組み込みます。加えて、ステルス性を高めるために、画像全体ではなく、最も意味的に重要な領域のみに変更を制限するGradCAM誘導マスク（GM）を導入します。提案手法をMSCOCOとVQA v2で、4つの代表的なVLMに対して評価したところ、通常機能を維持しつつASR（攻撃成功率）80%超を達成しました。