要約におけるモデルベース評価指標のキャリブレーション

arXiv cs.CL / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、要約の評価に用いられるモデルベース指標が大規模言語モデルを必要とし、予測スコアが不適切にキャリブレーションされやすくて信頼性が低下するという課題に取り組みます。
参照要約や人手による注釈、高コストなモデルベース指標に依存せずに、要約ごとのスコアと文書全体の平均スコアを代理的に生成する一般的な評価フレームワークを提案します。
さらに、グループ等調回帰ビニング（GIRB）と呼ばれるキャリブレーション手法により、原始予測を調整してグラウンドトゥルースの評価信号との整合を高めます。
7つのデータセットでの実験により、提案手法が既存のベースラインより一貫して優れていることを示し、連続値タスクだけでなく質問応答のような離散値タスクにも適用可能だと述べています。

概要: 要約評価における近年の進展は、完全性、簡潔性、忠実性といった品質の側面を評価するためのモデルベースの指標に基づいています。しかし、これらの手法では大規模言語モデルが必要となることが多く、予測スコアがしばしば校正（キャリブレーション）不良であり、その信頼性が制限されます。さらに、単一の文書に対する異なる複数の要約の平均的な品質を評価するには、通常、複数の参照要約へのアクセスが必要です。ここで、参照要約、人手による注釈、あるいは高価なモデルベース指標に依存せずに、個別および平均の代理スコアを生成する一般的な枠組みを提案します。また、基礎となる真値の評価指標によりよく整合するように、生の予測を調整する校正手法である、グループ等張回帰ビニング（GIRB）も提案します。本手法は要約のような連続値のシナリオに焦点を当てますが、質問応答のような離散値タスクにも適用可能です。7つのデータセットでの実験により、本アプローチが既存のベースラインを一貫して上回ることを示します。