視覚プライミングがビジョン・言語モデルの協調行動に与える影響

概要: 視覚言語モデル（VLM）が意思決定システムにますます統合されるにつれ、視覚入力がそれらの振る舞いにどのように影響するのかを理解することが不可欠になっています。本論文では、テストシナリオとして反復囚人のジレンマ（IPD）を用い、VLMの協調行動に対する視覚的プライミングの影響を調査します。行動概念を描いた画像（親切さ/思いやり vs. 攻撃性/利己性）への露出、および色分けされた報酬行列が、VLMの意思決定パターンを変えるかどうかを検討します。実験は複数の最先端VLMに対して実施されました。さらに、プロンプトの修正、Chain of Thought（CoT）推論、視覚トークンの削減といった低減（ミティゲーション）戦略も探究します。結果は、VLMの振る舞いが画像の内容と色の手がかりの両方によって影響を受けうることを示しており、またモデルごとに感受性や低減の有効性が異なることが分かりました。これらの知見は、視覚的に豊かで安全性が重要な環境におけるVLMの導入に向けて、頑健な評価枠組みの重要性を強調するだけでなく、モデル間のアーキテクチャや学習の違いが異なる行動応答につながりうることも示しており、これはさらなる調査に値する領域です。