ニューラルネットワークにおける汎化と不確実性推定のための表現力のある事前分布の学習
arXiv stat.ML / 2026/3/31
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、汎化性能と不確実性推定を改善するために、ニューラルネットワークから得られるスケーラブルで構造化された事後分布を情報量のある事前分布として用いる、事前分布学習手法を提案する。
- 学習された事前分布は大規模において表現力のある確率表現をもたらし、（ImageNet などの）事前学習モデルのベイズ的アナロジーとして機能しつつ、空虚でない汎化の上界（generalization bounds）を生成すると主張する。
- このアプローチは継続学習（continual learning）へ拡張され、事前分布の性質が、望ましい汎化／不確実性の挙動を失うことなくタスクをまたいで学習するのに有益であると論じる。
- 主要な技術的実現要素には、効率的な和（sums-of-Kronecker-product）計算や、汎化の上界を引き締めることを目的とした扱いやすい目的関数の導出／最適化が含まれる。
- 不確実性推定と汎化の両方に対する有効性を示すための大規模な実験結果が報告される。
