多くの方言、多くの言語、ひとつの文化的レンズ：歴史的に結びついた言語と地域の方言にまたがるベンガル文化理解のための多言語VLMを評価する

概要: バングラ文化は、地域、方言、歴史、食、政治、メディア、そして日常の視覚的な生活を通じて豊かに表現されている一方で、多モーダル評価においては十分に代表されていません。このギャップを埋めるために、私たちは、歴史的に結びついた言語と言語圏の地域方言にまたがって、ベンガル文化を対象に多言語の視覚言語モデル（VLM）を評価するための、文化的に基盤づけられたベンチマークであるBanglaVerseを提案します。9つの領域にわたって手作業で厳選した1,152枚の画像から構築され、このベンチマークは視覚質問応答とキャプション生成をサポートし、さらに4言語と5つのバングラ方言へと拡張されることで、約32.3K件のアーティファクトを提供します。実験の結果、標準バングラ語だけを評価すると、モデルの真の能力を過大評価してしまうことが分かりました。方言の違いの下では性能が低下し、特にキャプション生成でその傾向が強く見られます。一方で、ヒンディー語やウルドゥー語のような歴史的に結びついた言語は文化的な意味の一部は保持するものの、構造化された推論に関しては依然として弱いままです。領域全体における主なボトルネックは、視覚的な手がかりだけではなく、知識集約的なカテゴリにおける文化的知識の欠落であることが示されました。これらの知見により、BanglaVerseは、言語変動のもとで文化的に基盤づけられた多モーダル理解を測定するための、より現実的なテストベッドとして位置づけられます。