ConCISE: リファレンス不要のLLM生成回答の簡潔さ評価指標

本文: arXiv:2511.16846v2 アナウンス種別: replace 要約：大規模言語モデル（LLMs）は頻繁に、長く冗長で、冗長な詳細や不要な情報で満たされた応答を生成します。これにより、明確さとユーザーの満足度が低下し、特に出力トークン数に基づいて料金を請求する有名な独自モデルでは、モデル開発者のコストが増加します。本論文では、LLMsが生成する応答の簡潔さを評価する新規のリファレンス不要指標を導入します。我々の手法は、金標準のリファレンスに依存せず非本質的なコンテンツを定量化し、3つの計算の平均を算出します：i) 元の応答とLLMによる抽象的サマリーとの間の圧縮比；ii) 元の応答とLLMによる抽出的サマリーとの間の圧縮比；iii) 語除去圧縮、つまり意味を保ちながら応答から可能な限り非本質的な語を削除し、削除されたトークン数が簡潔さスコアを示す。実験結果は、提案手法がLLM出力の冗長性を特定し、グラウンドトゥルースの人間アノテーションを必要とせず、対話型AIシステムにおける応答の簡潔さを自動的に評価する実用的なツールを提供することを示しています。