LassoFlexNet：表形式データのための柔軟なニューラルアーキテクチャ
arXiv stat.ML / 2026/3/24
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、表形式データにおいて深層ニューラルネットワークが木ベースのモデルに遅れをとっていると主張し、そのギャップを埋めるために5つの帰納バイアス（特徴の無関係性への頑健性、軸の整合、局所的な不規則性、異質性、学習の安定性）を追加したLassoFlexNetを提案する。
- LassoFlexNetはパー・フィーチャー埋め込み（Per-Feature Embeddings）を用いて、各入力が持つ線形および非線形の限界的寄与を評価し、Lassoのような解釈可能性を備えた疎変数選択のために、Tied Group Lassoメカニズムを適用する。
- これらの構成要素によって生じる最適化の不安定性に対処するため、著者らはEMA（指数移動平均）を用いた、Sequential Hierarchical Proximal Adaptive Gradientオプティマイザを開発し、収束の安定性を高める。
- 3つのベンチマークにわたる52のデータセットでの実験により、LassoFlexNetは主要な木ベースモデルに対して同等または上回る性能を示し、アブレーション研究および理論的な証明によって裏付けられた相対的な改善は最大10%と報告されている。
- 理論解析では、表現力の向上と、望ましくない回転不変性の「構造的な破壊（structural breaking）」を主張しており、ニューラル表現を表形式データの構造とより適切に整合させることを目指している。
