因果探索とデュアルモーダル安全サブスペース射影による、視覚言語モデル内の安全でないチャネルの診断と修復

Abstract

大規模ビジョン-言語モデル（LVLMs）は、マルチモーダル理解および推論タスクにおいて目覚ましい性能を達成している一方で、その内部の安全メカニズムは不透明で、十分に制御されていません。本研究では、LVLM内の危険なチャネルを診断し修復するための包括的な枠組み（CARE）を提示します。まず、因果メディエーション分析を行い、危険な挙動を因果的に担っているニューロンおよび層を特定します。これらの知見に基づき、良性の活性と悪性の活性の間の一般化固有値分解を通じて、視覚モダリティとテキストモダリティの双方に対する汎化された安全サブスペースを学習する、デュアルモーダル安全サブスペース投影手法を導入します。推論時には、ハイブリッド融合メカニズムにより、活性をこれらの安全サブスペースへ動的に投影し、視覚的およびテキスト的な修正のバランスを適応的に調整することで、意味的な忠実性を保持しつつ危険な特徴を効果的に抑制します。複数の安全ベンチマークにおける大規模な実験の結果、当社の因果サブスペース修復フレームワークは、一般的なマルチモーダル能力を低下させることなく、安全性の堅牢性を大幅に向上させ、従来の活性ステアリングおよびアライメントベースラインを上回ることが示されました。さらに、本手法は良好な転移可能性を示し、未見の攻撃に対して防御できます。