デルタ分散による一般的な不確実性推定

要旨：意思決定者は、限られたデータによって引き起こされる不確実性に悩まされる場合があります。これは、認識論的不確実性（epistemic uncertainty）を考慮することで軽減できる可能性がありますが、大規模なニューラルネットワークに対してそれを効率よく推定することは難しいです。この点に関して本研究では、認識論的不確実性の定量化のためのアルゴリズムのファミリーであるデルタ分散（Delta Variances）を調査します。デルタ分散は計算的に効率的で、実装が容易です。これは、ニューラルネットワークや、ニューラルネットワークから構成されるより一般的な関数に適用できます。例として、内部にニューラルネットワークに基づくステップ関数を含む天気シミュレータを考えます。ここではデルタ分散は、単一の勾配計算コストで競争力のある結果を経験的に得ます。このアプローチは、ニューラルネットワークのアーキテクチャや学習手順に変更を必要としないため便利です。デルタ分散を理論的に導出する複数の方法について議論しつつ、特別な場合がよく知られた手法を回復すること、また複数の関連手法を統一的な視点で捉えることを示します。最後に、この一般的な視点が自然な拡張を生み出すことを観察し、その有益性を経験的に示します。