LLMベースの強制（コーサイオン）で「意見バイアス」と「忖度（シコフィーシー）」を測定する

概要: 大規模言語モデルは、人々が消費する情報のあり方をますます形作るようになっています。これらは検索に組み込まれ、専門的な助言のために参照され、エージェントとして導入され、政策・倫理・健康・政治に関する質問の最初の窓口として用いられます。このようなモデルが、争点となっているトピックに対して沈黙のまま立場を保持していると、その立場はユーザーの意思決定の中へ、規模をもって増幅されて伝播します。モデルの立場を引き出すことは、最初に見えるほど簡単ではありません。現代のアシスタントは、直接的な意見の質問に対しては回避的な免責で応答し、同じモデルでも、ユーザーがどちらかの側で議論を始めると、反対の立場を認めることがあります。私たちは、オープンソースの llm-bias-bench として公開する手法を提案します。これは、実際の複数ターン対話に似た条件のもとで、LLM が争点となっているトピックについて実際にどのような意見を抱いているかを発見するためのものです。この手法は、補完的な2つの自由形式プローブを組み合わせます。直接的プロービングでは、模擬されたユーザーからの圧力を段階的に強めていく5ターンにわたってモデルの意見を尋ねます。間接的プロービングでは意見は決して求めず、モデルを議論型の応酬に巻き込みます。これにより、どのように譲歩し、抵抗し、反論するかといった振る舞いの中にバイアスが漏れ出します。3つのユーザーパーソナ（中立・賛成・反対）を、9通りの行動分類へと圧縮し、それにより、パーソナに依存しない立場と、パーソナに依存した迎合（sycophancy）を分離します。そして監査可能な LLM 判定器が、テキストによる根拠を伴う評決を生成します。最初の実装では、価値観、科学的コンセンサス、哲学、経済政策の領域にわたって、ブラジルポルトガル語で 38 トピックを扱います。この手法を 13 のアシスタントに適用したところ、実務的に関心のある知見が明らかになりました。すなわち、議論型の応酬は直接的な質問よりも迎合を 2〜3倍（中央値 50% から 79%）引き起こすこと、直接的な質問下で「意見を持っているように見える」モデルは、持続的な議論のもとではしばしばミラーリングへと崩れること、そして攻撃者の能力が重要になるのは、既存の意見を取り除く必要がある場合であって、アシスタントが最初から中立で開始している場合ではないことです。