LLMの事前学習データと事後学習データにおける政治的コンテンツとは何か？

要旨: 大規模言語モデル（LLM）は、政治的に偏った文章を生成することが知られています。それでも、そのようなバイアスがどのようにして生じるのかは依然として明らかではなく、効果的な緩和策を設計することが難しくなっています。私たちは、これらのバイアスが学習データの構成に起因しているのではないかと仮説を立てます。データ中心の観点から、(1) データに含まれる政治的傾向、(2) データの不均衡、(3) データセット間の類似性、(4) データとモデルの整合性、に関する研究課題を定式化します。次に、政治的コンテンツへの曝露が、政策課題に関するモデルのスタンスとどのように関係しているかを調べます。私たちは、大規模サンプリング、政治的傾向の分類、スタンス検出を組み合わせて、オープンソースLLMの事前学習データセットおよび事後学習データセットの政治的コンテンツを分析します。その結果、学習データは左寄りのコンテンツに体系的に偏っており、事前学習コーパスには、事後学習データよりも大幅に政治的に関与した素材が多く含まれていることがわかりました。さらに、学習データにおける政治的スタンスとモデル挙動の間には強い相関があることを観察し、異なるキュレーション戦略にもかかわらず、事前学習データセットは同様の政治的分布を示すことを示します。また、政治的バイアスはベースモデルの時点ですでに存在しており、事後学習の段階を通じても持続することを見出します。これらの知見は、モデル挙動を形作るうえでデータ構成が中心的な役割を果たすことを強調するとともに、より高いデータ透明性の必要性を動機づけるものです。