勾配降下法を用いた木ベースモデルの学習

木ベースのモデルは解釈性の高さで広く認識されており、特にリスクの高い領域を含むさまざまな応用分野で有効であることが示されています。しかし、決定木（DT）の学習は、その組合せ的な複雑さと離散的・微分不能な性質のため、重要な課題となっています。その結果、CART のような貪欲探索手法に依存する従来の方法が最も広く使用されています。これらの方法は、各ノードで局所的に最適な決定を行い、探索空間を制約してしばしば非最適な木構造につながります。さらに、従来の方法はカスタムの学習手法を要求するため、現代的な機械学習（ML）アプローチへの円滑な統合を妨げます。 本論文では、勾配降下法を通じて硬い軸に沿った DT を学習する新しい方法を提案します。我々のアプローチは、密な DT 表現に対してストレートスルー演算子を用いた誤差逆伝播を利用し、すべての木のパラメータを同時に最適化することを可能にします。これにより、従来の DT アルゴリズムの2つの主要な制限に対処します。第一に、勾配ベースの訓練は局所的に最適な分割の逐次的選択に縛られることなく、むしろすべての木のパラメータを同時に最適化します。第二に、最適化に勾配降下を活用することにより、勾配降下法に本質的に依存する既存の ML アプローチ（例: マルチモーダル学習や強化学習タスク）へのシームレスな統合を可能にします。 これらの進展により、複数の領域で最先端の成果を達成できるようになりました。小規模な表形式データセット向けの解釈可能な DT、複雑な表形式データの高度なモデル、マルチモーダル学習、情報の損失なしの解釈可能な強化学習を含みます。DT と勾配ベースの最適化のギャップを埋めることにより、私たちの手法はさまざまな ML 領域における木ベースモデルの性能と適用可能性を大幅に向上させます。