LLM評価におけるすべてのノイズを測定する

要旨: 信号と雑音の分離は、実験において中核となる。確立された統計手法をLLM評価に効果的に適用するには、その独自の雑音特性を考慮する必要がある。本研究では、3種類の雑音を明確に定義し、測定する。すなわち、(1) 与えられた質問に対して異なる答えを生成することによって生じる予測雑音、(2) 質問をサンプリングすることによって生じるデータ雑音、(3) 全体の分散の法則に従うそれらの合計の雑音である。相対比較を強調し、統計的パワーを高めるために、すべてのペアを用いたpaired method（オールペアード・ペア法）を提案する。これは、ペアごとの分析をすべてのLLMの組み合わせに適用し、多数の評価（eval）と設定にまたがって、何百万もの質問レベル予測に基づいてすべての雑音成分を測定することで、明確なパターンを明らかにする。まず、各評価は、すべてのモデルペアにわたって、その合計雑音レベルが特徴的であり、かつ非常に予測可能である。次に、ペアごとの予測雑音は通常、ペアごとのデータ雑音を上回る。これは、予測雑音を平均化によって低減すると、統計的パワーを大幅に高められることを意味する。すべての雑音を同時に測定することで、評価結果を文脈の中で評価でき、最良の分析を用いて妥当な経験的判断を下すための障壁を下げることができる。