PoliticsBench: 多段ロールプレイによる大規模言語モデルにおける政治的価値観のベンチマーク

要旨: 大規模言語モデル（LLM）は一次の情報源としてますます利用されるようになっている一方で、その潜在的な政治的バイアスは客観性に影響を及ぼし得ます。LLMの社会的バイアスに関する既存のベンチマークは主として、ジェンダーや人種のステレオタイプを評価しています。政治的バイアスを含める場合も、通常は粗い水準で測定されており、社会政治的な傾向を形作る具体的な価値観が見過ごされがちです。本研究では、PoliticsBenchを用いて、8つの著名なLLM（Claude、Deepseek、Gemini、GPT、Grok、Llama、Qwen Base、Qwen Instruction-Tuned）の政治的バイアスを調査します。PoliticsBenchは、心理測定ベンチマークであるEQ-Bench-v3を適応した、新しいマルチターンのロールプレイ枠組みです。商用開発されたLLMが、後続のマルチステージ・ロールプレイの段階でより顕著になる体系的な左傾のバイアスを示すかどうかを検証します。20の発展的なシナリオを通じて、各モデルは自らの立場を報告し、行動方針を決定しました。これらの応答を10段階の政治的価値観の尺度で採点し、チャットボットが非バイアスの基準から逸脱する背後にある価値観を探りました。8モデルのうち7モデルは左傾でしたが、Grokは右傾でした。左傾の各LLMは、リベラルな特性を強く示し、保守的な特性を中程度に示しました。ロールプレイの各段階における整合度スコアにはわずかな違いがあることを見出しましたが、特定のパターンはありませんでした。ほとんどのモデルは帰結（consequence）に基づく推論を用いていましたが、Grokは事実や統計を根拠に頻繁に議論していました。本研究は、マルチステージの自由記述インタラクションを通じたLLMにおける政治的価値観の、初の心理測定学的評価を提示します。