ベイズ深層アンサンブルにおけるE値ベースの停止規則に向けて

arXiv stat.ML / 2026/4/21

💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、不確実性推定のために用いられる長時間のMCMCサンプリングが高コストになり得る点に着目し、ベイズ深層アンサンブル（BDEs）でその負担を軽減することを目的としています。
初期に最適化したディープ・アンサンブル基線に比べて、逐次MCMCサンプリングが有意な改善をもたらさなくなった時点を判断するために、E値ベースの停止規則を提案しています。
提案手法は、いつでも妥当（anytime-valid）な逐次仮説検定として定式化されており、「強い基線に対してMCMCが改善していない」という帰無仮説を棄却できるかどうかに基づく、原理的な早期停止を可能にします。
複数の設定で実験を行い、有効性が示され、フルチェーンのサンプリング予算のごく一部で同等の効果に到達できる場合が多いことが明らかになりました。
実務上の要点は、理論的に根拠のある基準によって、意味のある改善を損なわずにサンプリング時間を短縮できることです。

Abstract

Bayesian Deep Ensembles（BDEs）は、深層学習における不確実性定量化のための強力なアプローチであり、Deep Ensembles（DEs）の頑健性と、柔軟なマルチチェーンMCMCを組み合わせます。多くの深層学習設定ではDEsは手頃ですが、ベイズニューラルネットワークの（長時間の）サンプリングは、非常にコストがかかり得ます。それでも、DEsを最適化した後にサンプリングを追加すると、大きな改善が得られることが示されています。これにより、重要な実務上の疑問が残ります。つまり、逐次サンプリングのプロセスは、最初に最適化したDEのベースラインに対して有意な改善をどれくらいの期間続けるべきなのでしょうか。この問題に取り組むために、E値に基づく停止ルールを提案します。アンサンブル構築を、逐次の「anytime-valid（いつでも有効）」な仮説検定として定式化し、MCMCが強いベースラインに対して改善をもたらさないという帰無仮説を棄却すべきかどうかを、原理に基づいて判断する方法を提供します。これにより、サンプリングを早期に停止できます。実験的に、さまざまな設定に対してこのアプローチを検討します。我々の結果は、このアプローチの有効性を示すとともに、しばしばフルチェーン予算の一部だけで十分であることを明らかにします。