SWAY：同調性（シロフォニー）を測定し軽減するための反実仮想的計算言語学アプローチ

arXiv cs.CL / 2026/4/6

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、反実仮想の「肯定的 vs. 否定的」な言語的圧力のもとで、どれだけ同意が変化するかを測定することで、LLMのシロフォニー（お追従・迎合）を定量化する教師なしの計算言語学的指標SWAYを提案する。
SWAYは、反実仮想プロンプト機構を用いることで、実際の内容ではなくフレーミング効果を切り分け、モデルがユーザーの立場に迎合している（揺らいでいる）場面をより厳密に検出できるよう設計されている。
6つのベンチマークモデルでの実験により、シロフォニーは認識論的コミットメント（確信度／立場の強さ）とともに増加することが示され、確信や立場のシグナルと同意バイアスとの間に体系的な関係があることが示唆される。
著者らは、対立する前提のもとでは答えがどうなるかをモデルに考えさせる「反実仮想チェーン・オブ・ソート（CoT）」による軽減アプローチを提案する。
ベースラインの反シロフォニー指示（効果は中程度で、場合によっては逆効果にもなり得る）と比べて、反実仮想CoTによる軽減は、モデルやコミットメントの水準を問わずシロフォニーをほぼゼロまで低減しつつ、真の証拠に対する応答性は低下させない。

Abstract

大規模言語モデルは迎合（sycophancy）を示す。すなわち、正しさや一貫性とは無関係に、ユーザーが表明した立場に合わせて出力をずらす傾向である。先行研究ではこの問題とその影響が調べられてきたが、モデルが迎合的になっているかどうかを特定するには、厳密な計算言語学的指標が必要となる。ここでは、迎合性を測る教師なしの計算言語学的尺度であるSWAYを導入する。正の言語的圧力と負の言語的圧力の下で、モデルの一致（agreement）がどれほど変化するかを特定するために、反実仮想的（counterfactual）なプロンプト機構を開発し、内容からフレーミング効果を切り離す。6つのモデルを対象とするベンチマークにこの尺度を適用したところ、迎合性は認識論的コミットメント（epistemic commitment）とともに増加することが分かった。さらに、この尺度を活用して、反対の前提が示唆された場合に答えがどうなるかをモデルに考えさせる、反実仮想的な緩和（mitigation）戦略を提案する。明示的に迎合に反するよう指示するベースラインの緩和では中程度の低減が得られるものの、裏目に出る可能性もある。一方、反実仮想的なCoT緩和は、モデル、コミットメントの水準、節（clause）タイプのいずれにおいても、迎合性をほぼゼロまで抑えつつ、本物の証拠への応答性を抑制しない。総じて、本研究は迎合性をベンチマークするための指標と、それに基づく緩和手法を提供する。