要旨: 本論文では、最小ダイバージェンスの枠組みを用いて、統計モデルおよび機械学習モデルから得られる確率的予測を平均化するために使用できる、モデル重みを計算する新しい方法を導入する。提案手法は一般的であり、検討対象のモデルが頻度論的、ベイズ的、あるいはその他の何らかの手法によってデータに適合されるかどうかにかかわらず適用可能である。提案手法は2つの異なる動機づけに基づいており、実験的には、モデルスタッキングや、Akaike型の負の指数化モデル重み付けに依拠するモデル平均化などの標準的なモデル平均化手法と比べて、同等以上の、あるいはそれより優れた性能を示す。特に、サンプルサイズが小さい場合にその傾向が顕著である。理論的解析により、本手法が小標本において優位性を持つ理由が説明される。
発散（ダイバージェンス）に基づくモデル予測の重み付けと平均化手法
arXiv stat.ML / 2026/4/28
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、確率的な予測を平均化するためのモデル重みを算出する、発散（ダイバージェンス）に基づくフレームワークを提案している。
- 提案手法は、各モデルの推定が頻度主義・ベイズ推定などのどの方式で行われたかに依存せず、モデルに中立的に適用できることを目指している。
- 実験では、スタッキングやAkaikeに基づく負の指数関数型のモデル重み付けなどの標準的手法と比べて、特にサンプル数が少ない条件で優れている、または同等の性能を示した。
- 著者らは、データが限られる場合に小標本で利点が生まれる理由を理論的に説明している。
