概要: 複数の異なる学習を行った機械学習モデルの予測群として知られる bagging predictors について、大きめの集合の予測に対しては、デフォルトではすべての予測の平均が用いられます。それにもかかわらず、この手続きは、特定のパラメータ領域において実際の真値（ground truth）から逸脱しうることがあります。本稿では、ニューラルネットワーク（NN）による非線形回帰において Kernel Density Estimation（KDE）を用いることで、このような予測集合から代表的な y_BS を決定するための手法を提示します。さらに、この手法は、得られたアンサンブル予測の信頼度を反映する Bagging Score（BS）と呼ばれる、関連する品質基準 beta_BS も同時に提供します。新しい手法を用いることで、平均や中央値を用いる一般的な方法よりも良い予測が可能であることが示されます。加えて、この用いた手法を、文献にあるいくつかの非線形回帰アプローチと比較し、その際、最適化や特徴選択の技術を用いずに、計算された各誤差値において最高位の順位を得ることが示されます。
カーネル密度推定とバギングスコアによるバギング予測の評価
arXiv cs.LG / 2026/4/7
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、アンサンブル予測を通常はモデル間の平均（または中央値）として形成する「バギング予測」を研究するが、特定のパラメータ領域では不正確になり得ることを示す。
- 非線形回帰の枠組みの中でニューラルネットワークを活用し、カーネル密度推定（KDE）によって代表的なアンサンブル目標 y_BS を選択することを提案する。
- 本手法は、アンサンブル予測の信頼性を定量化する信頼度／品質指標である Bagging Score（β_BS）も出力する。
- 実験の結果、KDE に基づくバギング手法は、複数の誤差指標において、標準的な平均／中央値の集約よりも優れた予測性能を示す。
- 本手法は、文献にある複数の非線形回帰の代替手法と比較（ベンチマーク）され、最適化や特徴選択の手法を用いずに、報告された誤差指標において上位のランキングを達成する。
