ベイズニューラルネットワークにおけるミニマックス性と許容可能性

arXiv stat.ML / 2026/4/7

💬 オピニオンModels & Research

要点

  • 本論文は、通常のロケーションモデルの下で二次損失を用いることにより、深い全結合ReLU BNNが誘導するベイズ決定規則を調べることで、統計的決定理論の観点からベイズニューラルネットワーク(BNN)を分析する。

Abstract

ベイズニューラルネットワーク(BNN)は、深層学習モデルにおける推論のための自然な確率的定式化を提供します。広く利用されているにもかかわらず、その最適性は統計的意思決定理論の観点からは十分に注目されてきません。本論文では、二次損失の下で、正規位置モデルにおける深い全結合フィードフォワードReLU BNNが誘導する意思決定規則を研究します。固定した事前分散スケールに対して、誘導されるベイズ意思決定規則はミニマックスではないことを示します。次に、BNN事前分布の有効な出力分散に関するハイパープライオリ(hyperprior)を提案し、それによって超調和(superharmonic)な平方根の周辺(marginal)密度が得られることを示します。これにより、その結果として得られる意思決定規則が同時に許容的(admissible)かつミニマックスであることを確立します。さらに、これらの結果を二次損失の設定から、カルバック–ライブラー損失による予測密度推定問題へ拡張します。最後に、数値シミュレーションによって理論的知見を検証します。