自己相関の見落とし：LLM会話分析におけるターン単位の42%の結果が見かけ上の可能性がある理由

Abstract

ターン単位の指標は、安全性やおべっか（シコファンシー）から対話の質に至るまで、多段（マルチターン）の人間—LLM会話の性質を評価するために広く用いられている。しかし、会話内の連続するターンは統計的に独立ではない――この事実は、現在のほぼすべての評価パイプラインが、その統計的推論において補正できていない。私たちは、202の多段会話（11,639のターン対、ドイツ語話者のユーザ数5、4つのLLMプラットフォーム）にわたり、66個のターン単位指標の自己相関構造を体系的に特徴づけ、素朴なプール（統合）分析では有意性の推定が大幅に過大になることを示す。すなわち、標準的なプール検定で有意に見える関連のうち42%は、クラスターロバストな補正を行うと生き残らない。過大評価の程度は、自己相関率に比例して一様にスケールするのではなく、カテゴリごとに大きく異なる。記憶を持たない3つのファミリ（埋め込み速度、方向性、一階差分）は合計14%に集約される一方で、記憶を持たないわけではない7つのファミリ（熱サイクル、フレーム距離、語彙/構造、ローリングウィンドウ、累積、相互作用、タイムスタンプ）は合計33%に集約される。さらに、個々のカテゴリの率は、ファミリごとの効果量に応じて0%から100%の範囲に及ぶ。私たちは、Chelton（1983）の有効自由度と、会話レベルのブロックブートストラップを組み合わせた、2段階の補正フレームワークを提示し、事前登録されたホールドアウト分割で検証する。このときクラスターロバストな指標は、プールのみの指標に対して57%で再現されるのに対し、30%である。補正パイプラインに関する具体的な設計原則、出版チェックリスト、およびオープンソースのコードを提供する。LLM評価においてターン単位の統計を計算する、主要なNLPおよびAIの会場での約30本の最近の論文を調査したところ、時間的依存をあらゆる点で扱っているのはわずか4本であり、26本はそれを補正していないことが分かった。