人を最優先に：ヒューマン・フィードバックに整合した効率的なLAM評価

Abstract

大規模音声モデル（LAMs）の急速な普及により、モデル比較には効率的な手法が求められていますが、包括的なベンチマークはコストが高くなります。このギャップを埋めるために、本研究では、最小限のサブセットでLAMを確実に評価できるのか、そしてそれによりコストとデータの冗長性をどの程度削減できるのかを調べます。主要なLAM評価の次元をカバーする40のタスクに対して、18の音声モデルを用い、10のサブセット選択手法を分析した結果、わずか50例（データの0.3%）のサブセットで、全ベンチマークのスコアに対して0.93を超えるピアソン相関を達成できることを示します。これらのスコアが、実務者が最終的に重視するものであるユーザ満足度とどれほど整合しているかを理解するために、現実的な音声アシスタントの会話から776件の人間の嗜好評価を収集し、その結果、サブセットと全ベンチマークはいずれも人間に対して相関0.85しか得られないことを見出します。嗜好をより良く予測するために、選択したサブセットに対して回帰モデルを学習し、0.98の相関を達成しました。これは、ランダムなサブセットと全ベンチマークの両方に対して学習した回帰モデルを上回ります。これは、回帰モデリングにおいては、適切に厳選されたサブセットが全ベンチマークよりも高く予測できること、すなわち「量より質」を示しています。私たちは、これらの回帰重み付けサブセットをオープンソース化し、HUMANSベンチマークとして公開します。これは、ベンチマークのパフォーマンスとユーザの嗜好の両方を捉える、LAM評価のための効率的な代理指標です。