VOLTA：較正された深層学習における補助損失の意外な有効性の低さ

要旨: 不確実性の定量化（UQ）は、安全性が重要なアプリケーションに深層学習モデルを導入するために不可欠である。しかし、異なるデータモダリティや分布シフトにまたがって、どのUQ手法が最も優れているかについてコンセンサスは存在しない。本論文では、MC Dropout、SWAG、アンサンブル手法、温度スケーリング、エネルギーに基づくOOD（out of distribution）、マハラノビス、双曲分類器、ENN、Taylor Sensus、分割コンフォーマル予測といった、広く用いられている10個のUQベースラインに対する包括的なベンチマークを提示する。比較対象として、VOLTAの簡略化されたものの非常に効果的な変種を用いる。この変種は、深いエンコーダ、学習可能なプロトタイプ、交差エントロピー損失、および事後（post hoc）の温度スケーリングのみを保持する。すべての手法を、分布内のCIFAR 10、CIFAR 100、SVHN、一様ノイズ（分布外）、CIFAR 10 C（破損/汚損）、およびTiny ImageNetの特徴（tabular）で評価する。VOLTAは、競争的、あるいはより優れた精度を達成する（CIFAR 10で最大0.864）。さらに、期待較正誤差が大幅に低く（ベースラインでは0.044〜0.102に対し0.010）、OOD検出も強力である（AUROC 0.802）。3つのランダムシードに対する統計的検定では、VOLTAはほとんどのベースラインと同等、または上回ることが示される。アブレーション研究により、適応的温度と深いエンコーダの重要性が確認される。我々の結果は、VOLTAが、より複雑なUQアプローチに対する、軽量で決定論的かつよく較正された代替として位置づけられることを示す。