知覚エラーの先へ：大規模視覚言語モデルにおける意味的固定（セマンティック・フィクセーション）

要旨: 大規模な視覚言語モデル（VLM）はしばしば馴染みのある意味的先行知識に依存しますが、既存の評価では知覚の失敗とルール対応（rule-mapping）の失敗とをきれいに切り分けられていません。我々は、この振る舞いを意味的固着（semantic fixation）として研究します。すなわち、プロンプトが別の、同様に妥当な対応づけを指定している場合でも、デフォルトの解釈を保持してしまうというものです。この効果を切り出すために、VLM-Fix を導入します。これは4つの抽象的な戦略ゲームに対する制御されたベンチマークで、対となる標準ルール形式と逆ルール形式のもとで、同一の終端盤面状態を評価します。14のオープンおよびクローズドなVLMにわたって、正確性は一貫して標準ルールを支持し、堅牢な意味的固着ギャップが明らかになります。プロンプト介入によって、このメカニズムが支持されます。中立的な別名（alias）プロンプトは逆ルールのギャップを大幅に縮めますが、意味的に負荷された別名はそれを再び開きます。学習後は強くルール整合的です。あるルールでの学習は同一ルールへの転移を改善しますが、反対ルールへの転移を損ないます。一方、両ルールの同時学習はより広い転移を改善します。合成ゲームを超えた外的妥当性を検証するために、VLMBias 上で同様の脱慣化（defamiliarization）介入を評価し、同じような質的パターンを観察します。最後に、後段層でのアクティベーション誘導（steering）は、劣化した性能を部分的に回復させます。これは、意味的固着の誤りが少なくとも一部は後段表現において編集可能であることを示唆しています。プロジェクトページ、コード、データセットは https://maveryn.github.io/vlm-fix/ で利用可能です。