VIGNETTE：社会的に根拠づけられたバイアス評価手法によるビジョン・ランゲージ・モデルの評価

要旨: 大規模言語モデル（LLM）におけるバイアスはよく研究されている一方で、視覚言語モデル（VLM）における同様の懸念は、これまで比較的あまり注目されてきませんでした。既存のVLMバイアス研究はしばしばポートレート形式の画像や、性別と職業の関連に焦点を当てており、より広範で複雑な社会的ステレオタイプと、それが暗黙に引き起こす害を見落としています。本研究では、VIGNETTEを導入します。これは、大規模なVQAベンチマークであり、30M+枚の画像を用いて、質問応答フレームワークによりVLMにおけるバイアスを4つの方向性（事実性、知覚、ステレオタイピング、意思決定）にわたって評価します。狭く焦点を当てた研究を超えて、文脈化された状況においてVLMがアイデンティティをどのように解釈するかを評価し、モデルが特性や能力についてどのような仮定を行い、差別のパターンをどのように示すかを明らかにします。社会心理学の知見に基づき、視覚的なアイデンティティの手がかりを、特性および役割に基づく推論へとVLMがどのように結びつけ、それによって偏った選択を通じて社会的階層を符号化しているかを検討します。本研究の結果は、微妙で多面的かつ意外なステレオタイプのパターンを明らかにし、入力からVLMがどのように社会的意味を構築するのかについての洞察を提供します。