社会的圧力の彼方へ：大規模言語モデルにおける認識論的攻撃のベンチマーク

概要: 大規模言語モデル（LLM）は、推論というよりも順応（accommodation）を反映する形で、圧力のもとで回答を変化させることができます。従来のサイコフィー（sycophancy）に関する研究は主に、意見の不一致、阿諛（フラッタリー）、嗜好の整合（preference alignment）に焦点を当てており、より広い範囲の認識論的失敗（epistemic failures）はあまり探究されていません。私たちは、知識・価値・アイデンティティの正当性を単に先の回答に反対するのではなく問い直すことで、 extbf{PPT-Bench}、すなわち extit{認識論的攻撃（epistemic attack）} を評価するための診断用ベンチマークを提案します。PPT-Bench は、哲学的圧力テクサノミー（Philosophical Pressure Taxonomy: PPT）に基づいて構成されており、哲学的圧力の4種類――認識論的攪乱（Epistemic Destabilization）、価値の無効化（Value Nullification）、権威の逆転（Authority Inversion）、アイデンティティの溶解（Identity Dissolution）――を定義します。各項目は3つの層で検証されます：基準プロンプト（L0）、単一ターンの圧力条件（L1）、そして多ターンのソクラテス的エスカレーション（L2）です。これにより、L0 と L1 の間の認識論的な不整合を測定し、L2 における会話上の屈服（capitulation）を評価できます。5つのモデルにわたって、これらの圧力タイプは統計的に区別可能な不整合パターンを生み出し、認識論的攻撃が標準的な社会的圧力ベンチマークでは捉えられていない弱点を明らかにすることを示唆します。緩和（mitigation）の結果は、強くタイプおよびモデルに依存します。API設定では、プロンプト単位のアンカリングおよびパーソナ安定性プロンプトが最も良好に機能します。一方で、オープンモデルに対する最も信頼できる介入は、Leading Query Contrastive Decoding です。