概要: 本稿では、オンライン単調密度推定の問題を研究する。ここで、密度推定量は、逐次的に観測されるデータから予測可能な(predictable)方式で構築されなければならない。私たちは2つのオンライン推定量を提案する。1つは、古典的なグレナンダー推定量のオンライン類似(online analogue)であり、もう1つは、オンライン学習文献における指数重み付け(exponential weighting)手法に着想を得たエキスパート集約(expert aggregation)推定量である。基礎となる密度が単調であるという、適切に定められた(well-specified)確率設定のもとで、オンライン推定量と真の密度の間における期待累積対数尤度ギャップが O(n^{1/3}) で抑えられることを示す。さらに、観測系列に関する最小限の正則性仮定の下で、エキスパート集約推定量について、後知恵で選ばれた最良の(最適な)オフライン単調推定量に対する sqrt{n\log{n}} のパスワイズ(pathwise)レグレット(後悔)境界を確立する。独立した関心を有する応用として、逐次仮説検定における、対数最適(log-optimal)な p-to-e カリブレータを構成する問題が、オンライン単調密度推定問題として定式化できることを示す。私たちは提案した推定量を適用して、経験的に適応的な p-to-e カリブレータを構築し、その最適性を確立する。数値実験により理論結果が示される。
オンライン単調密度推定と対数最適較正
arXiv stat.ML / 2026/3/31
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、単調性の仮定のもとで、逐次的な観測から予測可能な形で推定量を構成する、オンライン単調密度推定を研究する。
- 2つの方法として、グレナンダー推定量のオンライン版と、オンライン学習における指数重み付けの考え方に基づくエキスパート集約推定量を導入する。
- よく指定された確率的(単調)設定において、オンライン推定量と真の密度の間の期待累積対数尤度ギャップが O(n^{1/3}) のオーダーであることを証明する。
- エキスパート集約法についても、データ列に対する最小限の仮定のもとで、後知恵で選ばれた最良のオフライン単調推定量に対するパスワイズの後悔(regret)を √(n log n) のオーダーで評価する。
- 応用として、逐次仮説検定における対数最適 p-to-ε(p-to-e)較正をオンライン単調密度推定に結び付け、さらに理論的に最適な経験的適応的較正器を構築し、数値実験による裏付けを示す。