LLMをジャッジのアンカーとして選択する際の鍵は凡庸さである

要旨: 「LLMを審判として用いるパラダイム」は、オープンエンド生成を評価する標準的な方法となっている。ペアワイズ比較の二次的スケーラビリティのコストに対処するために、Arena-Hard や AlpacaEval のような人気のベンチマークは、すべてのモデルを単一のアンカーと比較する。しかし、広く用いられているにもかかわらず、アンカー選択が結果の信頼性に与える影響はほとんど探究されていない。本研究では、Arena-Hard-v2.0 データセットで22個の異なるアンカーを評価することにより、アンカー選択の影響を体系的に調査する。アンカーの選択は極めて重要であることが分かった。低品質のアンカーは人間のランキングとの相関を著しく低下させうる。一般的なアンカーの選択肢（最も優れているモデルと最も劣っているモデル）は、良いアンカーではないことを特定した。これらの極端なアンカーは、他のすべてのモデルよりも一貫して良いか悪いかであるため、モデル間の相対的なランキングを示す指標にはほとんどならない。さらに、アンカー選択の効果量を定量化し、ジャッジモデルの選択と同程度であることを示す。実用的な推奨事項をもって結論付ける。第一に、検出力分析を実施し、アンカー基準評価の十分なベンチマークサイズを計算する。標準的なベンチマークサイズはペアワイズ評価には不十分であり、競合するモデルを信頼性高く区別できないことがわかった。第二に、信頼性が高く効率的な評価を確保するための、有用なアンカーの選択に関するガイドラインを提供する。