予測不確実性と選択的分類のためのアンサンブルベースのディリクレ分布モデリング

Abstract

交差エントロピー損失で訓練されたニューラルネットワーク分類器は、高い予測精度を達成しますが、本質的な予測不確実性の推定を提供する能力を欠いているため、これらの推定値を得るには外部の手法が必要です。さらに、真のクラスに対するソフトマックススコアは、独立した訓練実行ごとに大きく変動し得るため、下流タスクにおける不確実性に基づく意思決定の信頼性が制限されます。不確実性の推定を1回のパスで生成することでこれらの制約に対処することを目指すのが、Evidential Deep Learning（証拠に基づく深層学習）です。しかし、証拠に基づく訓練は、損失の定式化、事前正則化、活性化関数などの設計上の選択に対して非常に敏感です。そこで本研究では、ソフトマックス出力のアンサンブルに対してモーメント法推定量を適用し、さらに任意で最大尤度による改良ステップを行うことで、ディリクレ分布パラメータ推定の代替戦略を導入します。このアンサンブルに基づく構成により、不確実性推定が脆弱な証拠に基づく損失設計から切り離されるとともに、単一実行の交差エントロピー訓練に伴う変動性も緩和され、明示的なディリクレ予測分布が得られます。複数のデータセットにおいて、これらのアンサンブル由来のディリクレ推定における、改善された安定性と予測不確実性の振る舞いが、予測の確信度スコアリングや選択的分類といった不確実性に導かれた応用における下流性能の向上へと結びつくことを示します。