ヘテロスケダスティック不確実性を伴う軽量ベイズニューラルネットワークのための変分推論フレームワーク

Abstract

ベイズニューラルネットワーク（BNN）から異分散（ヘテロスケダスティック）な予測不確実性を得ることは、多くのアプリケーションにとって重要です。しばしば、異分散のアレアトリック不確実性は、予測平均に加えて、BNNの出力として学習されますが、その場合にはネットワークに追加の学習可能パラメータを組み込む必要が生じるかもしれません。本研究では、異分散のアレアトリック不確実性とエピステミック分散の両方を、学習されたBNNパラメータの分散に埋め込むことで、軽量ネットワークに対して予測性能を改善できることを示します。さらに、このアプローチを推論のためのモーメント伝播（moment propagation）手法と組み合わせることで、軽量BNNに適した、比較的単純なサンプリング不要の変分推論のための枠組みを導入します。