Abstract
大規模言語モデル（LLM）の出力における文化的表象は、主として文化的多様性と事実の正確性という代理指標を通じて評価されてきました。しかし、文化との整合性を評価するうえで重要なギャップが残っています。それは、生成された内容が、母語話者の集団が自らの文化的側面をどのように捉え、どの側面を優先しているかをどれほど反映しているか、という点です。本論文では、地域における期待とLLM生成物との整合性を評価するための、人間中心の枠組みを提案します。まず、9か国にわたって収集した自由回答の調査応答から、文化的に重要な側面の誘導集合を作成し、それにもとづいて、人間が導出した重要度ベクトルのグラウンドトゥルース基準を確立します。これを「Cultural Importance Vectors（文化的重要性ベクトル）」と呼びます。次に、構文的に多様化したプロンプト集合にもとづいて、LLMから「model-derived Cultural Representation Vectors（モデル由来の文化表象ベクトル）」を計算する方法を導入し、それを3つの最先端LLM（Gemini 2.5 Pro、GPT-4o、Claude 3.5 Haiku）に適用します。人間が導出したCultural Importanceと、モデルが導出したCultural Representationsの整合性を調査した結果、いくつかのモデルでは、西洋中心のキャリブレーションが見られ、さらにその一致度は、ある国の文化的距離が米国から遠ざかるほど低下することが分かりました。加えて、全モデルにわたって強く相関する体系的な誤りのシグネチャ（\rho > 0.97）を特定しました。これらは、一部の文化的マーカーには過度に重み付けされる一方で、ユーザーの根深い社会的・価値観に基づく優先事項は見落としてしまっています。本アプローチは、単純な多様性指標を超えて、世界の諸文化における微妙な階層を、真にそれとして捉えるAI生成コンテンツの忠実性を評価するものです。
