AlignCultura：文化に沿った大規模言語モデルに向けて？

Abstract

大規模言語モデル（LLM）における文化的整合性は、文脈を理解し、敬意を払い、信頼できる出力を生成するために不可欠である。これが欠けると、モデルは、役に立つ（Helpful）、無害（Harmless）、誠実（Honest）の（HHH）パラダイムに関して文化的多様性を反映できず、ステレオタイプ的で無神経、あるいは誤解を招く応答を生成してしまうリスクがある。既存のベンチマークは文化的整合性に向けた初期の取り組みを示しているが、現在、ユネスコの文化的多様性に関する原則に沿って、HHHパラダイムに基づく文化的整合性を体系的に評価できるベンチマークは存在しない。そこでこのギャップに対処するため、我々は文化的整合性のための2段階パイプライン Align-Cultura を構築した。第I段階では、ユネスコの文化的タクソノミーに基づく HHH-English データセットである CULTURAX を、クエリ構築（Query Construction）によって構築する。ここではプロンプトを再分類し、過小評価されている領域（またはラベル）を拡張し、SimHash によってデータ漏洩を防止する。次に、応答生成（Response Generation）では、2段階の棄却サンプリングにより、プロンプトと文化的に根拠づけられた応答を対応付ける。最終的なデータセットには、有形および無形の文化的形式の30のサブドメインにまたがる1,500サンプルが含まれる。第II段階では、CULTURAX を、汎用モデル、文化的に微調整されたモデル、ならびにオープンウェイトLLM（Qwen3-8B および DeepSeek-R1-Distill-Qwen-7B）でベンチマーク評価する。実験的に、文化的に微調整されたモデルは、HHHの同時達成（joint HHH）を4%〜6%改善し、文化的失敗を18%低減し、10%〜12%の効率向上を達成し、漏洩を0.3%に抑えることが示された。