ベイズニューラルネットワークのための区分的決定論的マルコフ過程

arXiv stat.ML / 2026/4/7

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、変分法によるベイズニューラルネットワーク(BNN)推論の限界と、特に尤度のサブサンプリングが必要になる場合に生じる従来のMCMCの高い計算コストに取り組む。

Abstract

現代のベイズニューラルネットワーク(BNN)における推論は、多くの場合変分推論の取り扱いに依存しており、独立性の仮定や事後分布の形といった、破られた仮定を課すことになります。従来のMCMC手法は、尤度のサブサンプリングとの非互換性によって計算量が増える代わりに、これらの仮定を回避します。新しい区分的決定論的マルコフ過程(PDMP)サンプラはサブサンプリングを可能にしますが、サンプリングが難しいモデル特有の不均質ポアソン過程(IPP)を導入します。本研究では、これらのIPPからサンプリングするための新しい汎用的かつ適応的なスィンキング(thinning)スキームを導入し、このアプローチによってBNNにおける推論へのPDMPの適用を加速できることを示します。実験により、これらの手法による推論が計算上実行可能であり、予測精度やMCMCの混合性能を改善し、さらに他の近似推論スキームと比較して有益な不確実性の測定を提供できることが示されます。