Generalized Power Mean による温度制御付き判定集約を用いた AI システム評価における適応的な厳密さ

Abstract

LLMベースのAIシステムに対する既存の評価手法、たとえばLLM-as-a-Judge、評決システム、NLIなどは、適用領域に応じて厳密さを調整できないため、人間による評価と必ずしもよく一致しません。本論文では、5段階の評決スコアリング体系と、一般化されたパワー平均（power-mean）による集約、ならびに評価の厳密さを制御する直感的な温度パラメータT [0.1, 1.0]を組み合わせた Temperature-Controlled Verdict Aggregation（TCVA）を提案します。低い温度では、安全性が重要な領域に適した悲観的なスコアが得られます。一方、高い温度では、対話型AIに適した寛容なスコアが得られます。人間のリッカート尺度による注釈を用いた3つのベンチマークデータセット（SummEvalとUSR）での実験評価により、TCVAは忠実性においてRAGASと同等の人間判断との相関（Spearman = 0.667 vs. 0.676）を達成しつつ、常にDeepEvalを上回ることが示されます。この手法は、温度パラメータを調整する際に追加のLLM呼び出しを必要としません。