証拠（Evidential）変換ネットワーク：事後（ポストホック）の不確実性推定のために、学習済みモデルを証拠モデルへ変換する

Abstract

事前学習済みモデルは、視覚と自然言語の両方で標準となっていますが、通常は信頼度（確信度）を信頼できる形で測る手段を提供しません。深いアンサンブルやMCドロップアウトといった既存の不確実性推定手法は、実運用に投入するには計算コストが高すぎることが多いです。Evidential Deep Learning（EDL）はより効率的な代替手段を提供しますが、最初からモデルに、証拠（evidential）量を出力するように学習させる必要があり、これは事前学習済みネットワークではめったに当てはまりません。そこで、事前学習済みモデルにEDL形式の不確実性推定を可能にするために、軽量な事後（post-hoc）モジュールであるEvidential Transformation Network（ETN）を提案します。ETNはロジット空間で動作し、ロジットに対するサンプル依存のアフィン変換を学習し、変換された出力を不確実性推定のためのディリクレ分布のパラメータとして解釈します。画像分類と、大規模言語モデルの質問応答ベンチマークで、インディストリビューションおよびアウト・オブ・ディストリビューションの両設定においてETNを評価します。ETNは、精度を維持しつつ、事後ベースラインよりも一貫して不確実性推定を改善し、追加する計算オーバーヘッドも最小限に抑えます。