BANGLASOCIALBENCH: バングラデシュの社会的交流におけるLLMsの社会語用論および文化的適合性を評価するベンチマーク

要旨: 大規模言語モデルは高い多言語流暢さを示してきたが、流暢さだけでは社会的に適切な言語使用を保証するものではない。高コンテキスト言語においては、コミュニケーション能力は日常言語に直接組み込まれた社会的階層、関係的役割、および対話規範に対する感受性を必要とする。ベンガル語は、三層構造の代名詞体系、親族関係に基づく呼称、そして文化的に埋め込まれた社会慣習を通じてこの課題を体現している。BANGLASOCIALBENCHを紹介します。これは、事実の記憶ではなく文脈依存の言語使用を通じて、ベンガル語の社会語用能力を評価する最初のベンチマークです。このベンチマークは、三つの領域にまたがります：ベンガル語のアドレス用語、親族関係の推論、社会慣習、そして母語話者のベンガル語話者によって作成・検証された1,719の文化的に根ざした事例から成ります。私たちはゼロショット設定で十二の現代的なLLMを評価し、文化的ずれの体系的パターンを観察します。モデルはしばしば過度にフォーマルな呼称形式にデフォルトし、複数の社会的に受け入れられる呼称代名詞を認識できず、宗教的文脈全体で親族用語を混同します。私たちの知見は、社会語用的な失敗がしばしば構造化され、非ランダムであることを示しており、現代のLLMが現実的なバングラデシュの社会的相互作用における文化的に適切な言語使用を推測・適用する方法には持続的な限界があることを明らかにしています。