基礎モデルを蒸留することで一般化加法モデルのための特徴相互作用を選択する

要旨: 意味のある特徴量同士の相互作用を特定することは、表形式データ向けの正確で解釈可能なモデルを構築するうえで中核的な課題です。一般化加法モデル（GAMs）は表形式データのモデリングにおいて大きな成功を収めてきましたが、多くの場合、相互作用を選択するためのヒューリスティックな手続きに依存しており、高次の効果や文脈依存の効果を見落とす可能性があります。この課題に取り組むために、我々は、表形式の基盤モデルと事後（post-hoc）の蒸留手法を活用する手法であるTabDistillを提案します。我々の主要な直観は、表形式の基盤モデルが、大規模な表現学習を通じて、豊かで適応的な特徴量間の依存関係を暗黙に学習しているという点です。データセットが与えられると、TabDistillはまず、そのデータセットに対して表形式の基盤モデルを適合させ、次に、その上で事後的な相互作用帰属（interaction attribution）手法を適用することで、そこから注目すべき特徴量同士の相互作用を抽出します。さらに、その相互作用をGAMの項として用いることで、それらを評価します。各種タスクにおいて、TabDistillによって同定された相互作用は、下流のGAMの予測性能において一貫した改善をもたらすことが分かりました。これらの結果は、表形式の基盤モデルが、相互作用の発見に対する効果的でデータ駆動的な指針として機能し、高い容量を持つモデルと解釈可能な加法的枠組みの橋渡しとなり得ることを示唆しています。