著者プロフィール作成を通じた大規模言語モデルにおける文化的シグナルの探査

要旨: 大規模言語モデル（LLMs）は、社会的影響を及ぼすアプリケーションにおいてますます展開されており、それらがエンコードする文化的バイアスについて懸念が高まっています。私たちは、LLMsがゼロショット設定で歌詞から歌手の属性を推定するプロファイリングを実行できるかを評価し、タスク特異的なファインチューニングなしで歌手の性別と民族を推定できるかを検証します。歌詞を対象とした10,000曲超の複数のオープンソースモデルを横断して評価したところ、LLMsは非自明なプロファイリング性能を達成しますが、体系的な文化的整合性を示します。ほとんどのモデルは北米系の民族をデフォルトとしますが、DeepSeek-1.5Bはアジア系の民族とより強く整合します。この所見は、モデルの予測分布と生成された根拠の分析の両方から生じます。これらの差異を定量化するために、Modality Accuracy Divergence（MAD）とRecall Divergence（RD）の二つの公平性指標を導入し、Ministral-8Bが評価対象モデルの中で最も強い民族バイアスを示す一方で、Gemma-12Bは最も均衡の取れた挙動を示すことを示します。我々のコードはGitHubで利用可能です（https://github.com/ValentinLafargue/CulturalProbingLLM）。