自己一貫性を補完するための不確実性定量化：モデル間の不一致を用いた手法
arXiv cs.AI / 2026/4/21
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、自己一貫性に基づくアレアトリック不確実性（AU）が、LLMが過度に自信を持ち、サンプル間で同じ誤答を繰り返す状況では破綻し得ることを示している。
- 誤答に対しては、AUが低いときにクロスモデルの意味論的不一致が高くなることを見いだし、AUを補完する信号の存在を示唆している。
- 著者らはブラックボックス設定向けに、少数のスケール整合アンサンブルが生成したテキストのみを用いて、モデル間とモデル内のシーケンス意味類似度のギャップからエピステミック不確実性（EU）を算出する手法を提案している。
- TU（総不確実性）をAU＋EUとして定義することで、複数の指示チューニング済みモデルと長文タスクにおいて、ランキングの較正や選択的な棄権が改善され、AUが低い自信過剰な失敗をより確実に検出できる。
- さらに、合意と補完性の診断によりEUが最も有効な条件を特徴づけており、実運用での適用指針につながる内容になっている。
