「わかりません」を超えて：データ不確実性とモデル不確実性を見分けるためのLLM自己認識の評価

arXiv cs.CL / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、信頼度が不十分な場合にLLMが回答を控えるべきだとしつつ、従来研究では拒否を一律の「わかりません」として扱い、入力データの曖昧さ（データ不確実性）とモデル能力の限界（モデル不確実性）を区別できていないと指摘している。
3,500問超・6つのデータセットを含むUA-Benchを新たに提案し、LLMが不確実性をデータ不確実性とモデル不確実性のどちらに帰属させられるかを検証するベンチマークを用意している。
18の最先端LLMを評価した結果、トップモデルでさえ両者の切り分けを確実に行うのが難しく、正答率の高さが不確実性帰属能力の高さと必ずしも結びつかないことが示された。
ギャップを埋めるために、軽量なデータ合成と強化学習の手法を提案し、Qwen3-4B-Instruct-2507およびQwen3-8B（thinking mode）で不確実性帰属の改善と回答精度の維持を報告している。
コードとデータは公開されているとしている。