勾配ノルムに基づく等方的アプローチによる効率的な不確実性定量化

arXiv cs.CL / 2026/4/1

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、ニューラルネットワーク向けの軽量な不確実性定量化手法を提案する。高コストな計算を回避し、学習データへのアクセスも不要であり、大規模言語モデルのような設定を対象とする。
推定器の持つ（認識）不確実性を、一階のテイラー展開により近似し、不確実性が勾配ノルムの二乗に比例する形で捉える。さらに、観測（アレアトリック）不確実性は、点予測のベルヌーイ分散としてモデル化する。
本アプローチでは、パラメータ共分散が等方的であることを仮定し、学習データ以外から共分散を推定する際に生じうる構造的な歪みを回避できると主張する。
合成問題での実験的検証により、不確実性推定がマルコフ連鎖モンテカルロの参照値と非常に良く一致することが示され、モデルサイズが大きくなるほど性能が向上する。
著者らは、この推定値を質問応答に適用し、不確実性の種類がベンチマークごとに異なる予測シグナルを与えることを確認する。統合した不確実性はTruthfulQAで強いAUROCを示すが、TriviaQAでは偶然に近い結果であり、一様に自己評価を上回るわけではない。