木構造アンサンブルから解釈可能なモデルを抽出する：計算的および統計的観点

要旨: 木構造アンサンブルは、精度の高さと複雑な相互作用を捉える能力で広く認知されている非パラメトリック手法である。これらのモデルは予測において優れている一方で、解釈が難しく、データ内の有用な関係を見出せない場合がある。我々は、木構造アンサンブルからコンパクトな意思決定規則の集合を抽出するための推定量を提案する。抽出されたモデルは正確であり、予測変数と応答の間の関係を明らかにするために手作業で検討できる。我々の推定量の主要な新規性は、抽出される規則の数と各規則の相互作用の深さを、同時に柔軟に制御できる点にあり、これにより精度が向上する。我々は、推定量の基礎となる最適化問題を効率的に解くための、専用の厳密アルゴリズムを開発し、さらに、モデルサイズを変化させたときに対応する解の列である正則化パスを計算するための近似アルゴリズムも開発する。また、同じ複雑性制約の下で、アンサンブル中の規則に対しデータ依存の最良の線形結合を選ぶオラクルと比較しつつ、提案手法に対する新しい非漸近的予測誤差の評価境界を確立する。この境界は、大標本における我々の推定量の予測性能がオラクルのそれと同等であることを示している。実験を通じて、我々の推定量が規則抽出の既存手法よりも優れていることを示す。