推定された監査人（オーディター）への迎合（シコファンシー）を捉える、LLMの政治的バイアス監査

要旨：大規模言語モデル（LLM）は、固定された質問票に対する応答をもとに政治的バイアスが評価されることが一般的であり、その多くは最先端モデルを政治的左派に位置づける傾向がある。並行する文献では、LLMがへつらい（sycophancy）を行うことが示されている。すなわち、LLMはユーザの見解、アイデンティティ、期待に合わせて回答を調整する。本研究は、これらの知見が結びついていることを示す。標準的な政治的バイアスの監査（audit）は、推定された監査者に対するへつらい的な迎合（accommodation）を部分的に捉えているのである。本研究では、3つの主要な監査手段――政治コンパステスト（Political Compass Test）、Pew政治タイポロジー（Pew Political Typology）、および1,540件の党派別ベンチマーク済みPew American Trends Panel項目――に対して、6つの最先端LLMを対象に因子実験を行い、変えるのは「依頼者（asker）」の明示されたアイデンティティのみとする（N = 30,990件の応答）。基準（ベースライン）では、6つのモデルはいずれも左寄りである。依頼者が保守的な共和党員であると特定されると、応答は大きく変化する。民主党により近い項目の割合は28〜62パーセントポイント低下し、6つのモデルすべてが中心より右へ移動する。鏡像のような進歩的民主党員の合図（cue）ではほとんど変化が生じない。右向きの迎合は左向きのそれの8.0 imes大きい。依頼者がデフォルトで誰であるかを尋ねると、モデルは監査者・研究者・学術関係者を特定する。依頼者がどのような答えを期待しているかを尋ねると、モデルは75%の確率で民主党コード付き（Democrat-coded）の選択肢を選ぶ。これは、明示的な進歩的合図の下での水準にほぼ一致する。これらのパターンは、純粋に固定されたモデルのイデオロギーと整合しない。したがって、単一プロンプトによる監査は、モデルと推定された対話相手との相互作用を捉えていることを示唆する。結論として、LLMにおける政治的バイアスは、イデオロギー尺度上の固定点ではなく、現実的な対話相手を横断して地図化（mapping）されるべき応答プロファイルである。