移民に関するドイツ連邦議会の討論150年以上をLLMで分析した結果、過去10年で戦後の連帯から反連帯への移行が明らかに

arXiv cs.CL / 2026/4/6

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本研究は、ドイツ連邦議会の移民関連発言を対象に、連帯(solidarity)と反連帯(anti-solidarity)の下位類型をLLMで自動注釈するための枠組みと評価を行った。
  • 複数のLLMについて、モデル規模やプロンプト、ファインチューニング、歴史データと現代データ、誤りパターンの影響を分析し、GPT-5やgpt-oss-120Bが人間レベルに近い一致を示す一方、誤りは系統的で下流推論にバイアスを生むことを明らかにした。
  • そのバイアス低減として、ソフトラベルのLLM出力とDesign-based Supervised Learning(DSL)を組み合わせ、長期トレンド推定の歪みを抑える手法を提案した。
  • 分析結果として、戦後はグループ単位や思いやり(compassion)に基づく比較的高い連帯が見られ、2015年以降に排除・「不当な受け手(undeservingness)」・資源負担といった枠組みで反連帯が大きく増加したことを示した。
  • 著者らは、LLMによる大規模社会科学テキスト分析は可能だが、厳密なバリデーションと統計的補正が不可欠だと結論づけている。

Abstract

移民は、戦後の数百万人規模の追放者の移動から、労働移民、そして近年の難民の動きに至るまで、ドイツの政治的な議論の中核的なテーマである。こうした幅広い現象にまたがる政治的言説を深く研究するには、伝統的に大規模な手作業による注釈が必要であり、その結果、分析はデータのごく一部に限定されてきた。大規模言語モデル(LLM)は、この制約を克服するための可能性を提供する。本研究では、理論に基づく注釈スキームを用いて、ドイツ連邦議会での討論における連帯および反連帯の下位類型をLLMがどの程度正確に注釈できるか、また得られたラベルが妥当な下流推論を支えるかどうかを検討する。まず、複数のLLMについて包括的な評価を行い、モデル規模、プロンプト戦略、微調整、歴史的データと現代的データの違い、ならびに体系的な誤りパターンが及ぼす影響を分析する。その結果、最も強力なモデル、特にGPT-5およびgpt-oss-120Bは、この課題において人間レベルの一致を達成することがわかったが、それでも誤りは体系的であり、そのため下流の結果には偏りが生じる。これに対処するため、長期的トレンド推定におけるバイアスを低減するべく、ソフトラベルによるモデル出力と、Design-based Supervised Learning(DSL)を組み合わせる。方法論的な評価に加えて、社会科学的な観点から得られた注釈を解釈し、戦後および現代のドイツにおいて、移民に向けた連帯と反連帯の動向を追跡する。我々のアプローチは、戦後の期間において特に集団ベースおよび思いやりに基づく形で、比較的高い水準の連帯が見られることを示す。また、2015年以降、排除、不当な扱い(undeservingness)、ならびに資源負担という枠組みを通して、反連帯が顕著に増加していることが明らかになる。以上より、LLMは大規模な社会科学的テキスト分析を支援し得るが、その出力は厳密に検証され、統計的に補正される場合に限られると主張する。