SAVeS: セマンティック・キューを用いた視覚-言語モデルの安全判断の誘導

要旨: Vision-language models (VLMs) は、現実世界および具象的な設定において安全判断が視覚的文脈に依存するようになっています。しかし、これらの判断を導く視覚的証拠がどれかは依然として不明です。我々は、VLMs におけるマルチモーダル安全行動が単純な意味的手掛かりによって操られるかどうかを調べます。基盤となるシーン内容を変更することなく、制御されたテキスト、視覚、および認知介入を適用する意味的操縦フレームワークを導入します。これらの効果を評価するために、意味的手掛かりの下での状況的安全性を評価するベンチマークである SAVeS を提案し、行動拒否、根拠ある安全推論、誤拒否を分離する評価プロトコルと併せて提示します。複数の VLMs および追加の最先端ベンチマークにわたる実験は、安全判断が意味的手掛かりに高度に敏感であることを示し、現実の視覚理解に基づく推論よりも、学習済みの視覚と言語の結合に依存していることを示唆します。さらに、自動的な意味誘導パイプラインがこれらの機構を悪用できることを示し、マルチモーダル安全システムの潜在的な脆弱性を浮き彫りにします。