デフォルトでの分極化：LLMベースのコンテンツキュレーションにおけるレコメンドバイアスの監査

arXiv cs.CL / 2026/4/20

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

LLMを用いたコンテンツのキュレーションやランキングにおいて、ソーシャルメディア投稿（Twitter/X、Bluesky、Reddit）を対象に、バイアスがどのように生じるかを監査する研究である。
6種類のプロンプト戦略と3つの主要プロバイダ（OpenAI、Anthropic、Google）で、100投稿プールからの上位10件選択を54の実験条件で合計540,000回シミュレーションした結果、バイアスにはプロンプト設計に対して頑健なものと敏感なものがあることが示された。
すべての構成で分極化が増幅され、毒性（トキシシティ）の扱いは「エンゲージメント重視」と「情報重視」のプロンプト間で強い反転が見られ、感情（センチメント）バイアスは概ねネガティブである。
プロバイダ間ではトレードオフが異なり、GPT-4o Miniはプロンプト間で最も挙動が一貫し、ClaudeとGeminiは毒性対応で高い適応性を示し、Geminiはネガティブな感情を最も強く好む。
Twitter/Xでは、政治的傾向に関するバイアスが最も明確な属性シグナルとなり、候補プールで右派が最大でも、選択結果では左派の著者が体系的に過剰に表れる状態がプロンプトを変えても概ね持続する。

Abstract

大規模言語モデル（LLM）は、人が作成したコンテンツを選別し順位付けするためにますます導入されているが、これらのタスクにおけるバイアスの性質と構造は依然として十分に理解されていない。すなわち、どのバイアスが提供元やプラットフォームをまたいで頑健で、どのバイアスはプロンプト設計によって軽減可能なのかである。本研究では、3つの主要LLM提供元（OpenAI、Anthropic、Google）にまたがって、Twitter/X、Bluesky、Redditの実際のソーシャルメディアデータセット上でコンテンツ選択バイアスをマッピングする、制御されたシミュレーション研究を提示する。6つのプロンプト戦略（\textit{general}、\textit{popular}、\textit{engaging}、\textit{informative}、\textit{controversial}、\textit{neutral}）を用いる。54の実験条件それぞれに対して、100件の投稿のプールから行った上位10件の選択に基づく合計540,000件のシミュレーション結果から、バイアスが「構造」に関してと「プロンプト感度」に関して、どのように異なっているかが大きく異なることを見出す。偏向はすべての構成で増幅され、毒性への対応は、エンゲージメント重視プロンプトと情報重視プロンプトの間で強い反転が見られ、感情バイアスは主に否定的である。提供元間の比較では明確なトレードオフが明らかになる。GPT-4o Miniは、プロンプト間で最も一貫した挙動を示す。ClaudeとGeminiは、毒性への取り扱いにおいて高い適応性を示し、Geminiは最も強い否定的な感情の選好を示す。著者の属性がプロフィールの自己紹介文から推定できるTwitter/Xでは、政治的傾向バイアスが最も明確な属性シグナルである。データセット内では、右寄りの著者がプールの最多（複数）を形成しているにもかかわらず、左寄りの著者が体系的に過剰に代表されており、このパターンはプロンプト間でも概ね持続する。