Filtered Reasoning Score: モデルの最も確信の高いトレースにおける推論品質の評価

Abstract

高い精度を持つ大規模言語モデル（LLM）を、信頼してよいのでしょうか？ LLMは推論ベンチマークにおいて高い精度を達成しますが、正しさだけでは、それを生成するために用いられた推論の質は明らかになりません。これは、結果ベースの評価に本質的な限界があることを示しています。すなわち、モデルは誤った推論によって正しい答えに到達することがあり、また、推論能力が大きく異なるモデルであっても、たとえば記憶（memorization）や過剰最適化（over-optimization）によって、同様のベンチマーク精度を示してしまう可能性があるのです。本論文では、既存のベンチマークがある状況で、結果ベースの評価を超えて推論それ自体の質を評価することは可能か、という問いを提起します。我々は、(1) 同程度の精度を持つモデルを区別でき、かつ(2) 入力プロンプトや生成設定の変動に対して頑健なメトリクスを求めます。そこで本研究では、忠実性（faithfulness）、整合性（coherence）、有用性（utility）、事実性（factuality）といった次元に沿って推論トレースを評価する推論スコアを提案します。残る問題は、このスコアを複数サンプルされたトレース間でどのように集約するかです。単純な平均は、特に長いホライズンの設定では望ましくありません。ホライズンが長いほど、到達可能な軌跡（trajectory）の数は急速に増加し、低い確信度にもかかわらず正しい推論トレースが偶然に一致しやすくなるためです。これに対処するため、上位-K%の最も確信度の高いトレースのみを用いて推論の質を計算する、フィルタリングされた推論スコア（Filtered Reasoning Score: FRS）を導入します。FRSによって評価すると、標準的な精度の指標では区別できないモデルでも、推論の質には大きな差があることが示されます。さらに、あるベンチマークにおいてFRSが高いモデルは、他の推論ベンチマークにおいても、精度と推論の質の両面でより良い性能を示す傾向があります。これらの結果は、FRSが、モデルの転移可能な推論能力を捉えることで、精度を補完することを示唆しています。評価用のコードベースをオープンソース化しました: https://github.com/Manas2006/benchmark_reproducibility。