深層学習のための可能性論的予測不確実性

要旨: 深層ニューラルネットワークは多様な応用において目覚ましい成果を上げていますが、未知の入力に対する過度の確信は、信頼できるエピステミック不確実性のモデリングを必要とします。不確実性モデリングの既存手法は、根本的なジレンマに直面しています。すなわち、ベイズ的アプローチは原理に基づく推定を提供する一方で計算上の負荷が大きすぎます。一方で、効率的な二次（second-order）予測器は、その特定の目的とエピステミック不確実性の定量化とを結びつける厳密な導出を欠いています。このジレンマを解消するために、可能性理論を活用した原理に基づく枠組みである、ディリクレ近似可能性事後予測（Dirichlet-approximated possibilistic posterior predictions; DAPPr）を提案します。パラメータに関する可能性事後分布を定義し、上限（supremum）演算子によってその事後分布を予測空間へ射影し、さらに学習可能なディリクレの可能性関数を用いて射影後の事後分布を近似します。この「射影＋近似」の戦略により、閉形式の解を伴う単純な学習目的が得られます。多様なベンチマークにわたる大規模な実験により、提案手法は、原理的な導出と計算効率の双方を維持しつつ、最先端のエビデンシャル（evidential）深層学習手法と比較して競争力、あるいはそれを上回る不確実性定量化性能を達成することが示されています。コードは https://github.com/MaxwellYaoNi/DAPPr で公開予定です。