スペクトル経路回帰:解釈可能な表形式学習のための方向付きチェビシェフ高調波

arXiv cs.LG / 2026/4/7

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、「スペクトル経路回帰(Spectral Path Regression)」という、指数関数的にスケールするテンソル積基底や、軸に揃った構造に依存しないチェビシェフ型近似を拡張する解釈可能な表形式学習手法を提案する。
  • 方向付きチェビシェフ高調波
  • \(\cos(\mathbf{m}^{\top}\arccos(\mathbf{x}))\)
  • の形を導入し、多変量の関係を、座標インデックスではなく角度空間における方向によって捉える。
  • 学習を、離散的なスペクトル回帰問題へと変換し、構造化された周波数ベクトルの小さな集合(「スペクトル経路」)を選択することでモデル複雑度を制御する。
  • 学習は単一の閉形式のリッジ回帰の解により実行され、反復的な最適化を回避して計算効率を向上させる。
  • 標準的な連続特徴の表形式回帰ベンチマークでの実験では、強力な非線形基準手法と競争力のある精度を示しつつ、学習された特徴間相互作用を解析的な式として明示するコンパクトさと解釈可能性を維持する。

Abstract

チェビシェフ多項式のような古典的近似は、原理に基づき解釈可能な表現を提供しますが、多変量のテンソル積構成は次元に対して指数的にスケールし、さらに軸に沿った(アラインされた)構造を課すため、実際の表形式データとはうまく適合しません。そこで本研究では、テンソル化された振動を \cos(\mathbf{m}^{\top}\arccos(\mathbf{x})) の形の指向性調和モード(directional harmonic modes)に置き換えることでこの問題に対処します。この表現は、座標インデックスによってではなく角度空間における方向によって多変量構造を整理します。これにより、離散的なスペクトル回帰モデルが得られ、その複雑さは少数の構造化された周波数ベクトル(スペクトルパス)を選択することで制御できます。学習は、反復的な最適化を伴わない単一の閉形式のリッジ(Ridge)解の計算に帰着します。連続特徴を持つ標準的な表形式回帰ベンチマークでの実験では、得られたモデルが、強力な非線形ベースラインと競合する精度を達成しつつ、コンパクトで計算効率が高く、学習された特徴間相互作用を表す解析的な式によって明示的に解釈可能であることが示されました。