LLMの高次不確実性を不確実確率で言語化する

要約: 古典的確率的不確実性の枠組みの下で開発された抽出技術だけでは、LLMs からの不確実性を十分に捉えきれないというエビデンスが増えています。このミスマッチは、特にあいまいな質問応答、文脈内学習、自己反省を伴う設定で系統的な故障モードへと繋がることがあります。これに対処するため、\emph{imprecise probabilities}に基づく新しいプロンプトベースの不確実性喚起手法を提案します。ここで、第一階の不確実性はプロンプトに対する可能な応答の不確実性を捉え、第二階の不確実性（不確実性についての不確実性）は根底にある確率モデル自体の不確定性を定量化します。私たちは、両方の階層の不確実性を直接喚起・定量化するための汎用的なプロンプト設定手法と後処理手順を導入し、多様な設定でその有効性を示します。私たちのアプローチは、LLMs からの不確実性報告をより信頼性の高いものにし、信頼性を高め、下流の意思決定を支援します。