%削減します。
LLM判定者における自己選好バイアス（SPB）の定量化と軽減
arXiv cs.LG / 2026/4/28
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- LLM-as-a-Judge による評価は、LLMが自分で生成した出力を評価時に一貫して有利／不利に扱う自己選好バイアス（SPB）によって歪められ得ます。
- 既存のSPB計測は高コストになりがちで、生成能力と評価スタンスが混同されるため、大規模な実運用には不向きでした。
- 本論文は、人手のゴールド注釈なしで「識別力」と「バイアスの傾向」を統計的に切り分けるために、品質が等しい応答ペアを自動で構成する完全自動フレームワークを提案しています。
- 20の代表的なLLMでの実験では、高い能力がSPBの低さと相関しない、あるいは負の相関になることも多いことが示され、能力が高いほど自動的に公平な判定者とは限らないことが分かりました。
- SPBの軽減として、認知負荷の分解に基づく構造化された多次元評価戦略を提案し、SPBを平均31.5%削減できると報告されています。
