勾配ブースティングの説明における先行者バイアス：メカニズム、検出、解消

Abstract

本研究では、勾配ブースティングにおける逐次的な残差フィット（residual fitting）によって生じる、経路依存的な特徴重要度の集中として「先手バイアス（first-mover bias）」を切り出し、経験的に特徴付けする。これにより、多重共線性のもとでよく知られているSHAPベースの特徴ランキングの不安定性に対する、特定のメカニズム上の原因を明らかにする。相関する特徴同士が初期の分岐（early splits）をめぐって競合すると、勾配ブースティングは最初に選ばれた特徴に対して自己強化的な優位性を生み出す。続く木（trees）は、既存の特徴を優遇するように修正された残差（modified residuals）を引き継ぐため、SHAPの重要度が相関グループ全体に分配されるのではなく、恣意的な単一の特徴に集中してしまう。単一モデルへと規模を拡大するとこの効果は増幅される。すなわち、手法と同じ総木数を持つ「大規模単一モデル（Large Single Model）」は、テストしたいずれのアプローチよりも最悪の説明（explanations）を生み出す。線形（linear）なデータ生成過程のもとでは、モデル独立性（model independence）だけで先手バイアスを解消できることを示し、さらに非線形のデータ生成過程でも、独立性が最も効果的な緩和策であり続けることを確認する。提案手法DASH（Diversified Aggregation of SHAP：多様化されたSHAPの集約）と、単純な種（シード）の平均化（Stochastic Retrain：確率的再学習）は、逐次的な依存関係の鎖を断ち切ることで安定性を回復し、作動しているメカニズムが「説明されるモデル間の独立性」であることを裏付ける。rho=0.9では、両者はいずれも stability=0.977 を達成する一方で、単一ベストのワークフローは 0.958 に、Large Single Model は 0.938 に低下する。Breast Cancer（乳がん）データセットでは、DASH は安定性を 0.32 から 0.93 へと改善し（+0.61）、木数を一致させたベースラインに対して優位となる。さらにDASHは、2つの診断ツール――Feature Stability Index（FSI）と Importance-Stability（IS）プロット――を提供する。これらは、グラウンドトゥルースなしで先手バイアスを検出し、実務者が特徴ランキングに基づいて行動する前に、説明の信頼性を監査できるようにする。ソフトウェアおよび再現可能なベンチマークは https://github.com/DrakeCaraker/dash-shap で利用可能である。