ワンパスオンライン学習におけるベイズ学習のためのバーンシュタイン＝フォン・ミーゼス定理

要旨: ベイズオンライン学習は、逐次推論のための首尾一貫した枠組みを提供する。しかし、その理論的理解は特にワンパス設定において限定的なままである。既存の理論保証の多くは、ミニバッチのサンプルサイズが発散することを要求するが、この条件はワンパス領域では成り立たない。本論文では、ワンパス設定に合わせて設計された新しいベイズオンライン学習アルゴリズムを提案する。このアルゴリズムには、安定した逐次更新を保証するためのウォームスタート段階を組み込む。本アルゴリズムについて、逐次的に更新された事後分布が最適な収束率を達成することを示す。さらに、これに基づいて、ミニバッチサンプルサイズを発散させることなく妥当な不確実性の定量化を保証する、ベルンシュタイン‐フォン・ミーゼスの定理のオンライン類似物を確立する。解析は、オンライン学習文献における既存のアプローチとは本質的に異なる新しい理論的枠組みに基づいている。一般化線形モデルに関する数値実験では、提案手法がバッチ推定器の性能に一致し、既存のオンライン手続きを上回ることを示す。