要旨: 代表的な連続深度ニューラルネットワーク手法として、確率微分方程式（SDE）に基づくベイズニューラルネットワーク（BNN）は、その堅固な理論的基盤と実世界の応用に対する強い可能性により、広く注目を集めてきました。 しかし、数値的なSDEソルバへの依存は必然的に大量の関数評価（NFE）を引き起こし、その結果として計算コストが高くなり、さらにまれに収束の不安定性が生じます。これらの課題に対処するために、Nesterov加速勾配（NAG）を強化したSDE-BNNモデルを提案します。NFEに依存する残差スキップ接続とともに、SDE-BNNの枠組みにNAGを統合することで、提案手法は収束を加速し、学習およびテストの両方においてNFEを大幅に削減します。 大規模な実験結果は、当モデルが画像分類やシーケンスモデリングを含むさまざまなタスクにおいて、従来のSDE-BNNを一貫して上回り、より低いNFEと改善された予測精度を達成することを示しています。
Nesterovの加速勾配法により無限に深いベイズニューラルネットワークを改善する
arXiv cs.LG / 2026/3/27
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文はSDEベースのベイズニューラルネットワークを対象とし、その数値SDEソルバの利用が高い関数評価コスト（NFE）を招き、さらに収束の不安定性を引き起こし得ると主張する。
- NFEに依存する残差スキップ接続に加えて、Nesterov加速勾配（NAG）を組み込んだ改良版のSDE-BNNアーキテクチャを提案する。
- 本手法は、収束を加速しつつ、学習と推論の両方においてNFEを大幅に削減することを目的としている。
- 画像分類や系列モデリングなどの複数のタスクに対する実験では、従来のSDE-BNNに比べて一貫した性能向上が報告されており、NFEの低下と予測精度の向上の両方が示される。
- 総じて本研究は、計算効率と安定性に焦点を当てた、ベイズ連続深さニューラルネットワークモデルに対する実用的な最適化／アーキテクチャ改善を提示している。
