一様から学習された結び目へ：表形式の深層学習に向けたスプラインベース数値エンコーディングの研究

要旨: 数値前処理は、連続特徴の表現が下流の性能に強く影響し得る表形式の深層学習において、依然として重要な構成要素である。古典的な統計モデルや機械学習モデルにおいてはその重要性がよく確立されているものの、表形式の深層学習における明示的な数値前処理の役割は、いまだ十分に理解されていない。本研究では、スプラインに基づく数値符号化に焦点を当て、この問いを検討する。数値特徴を符号化する3つのスプライン族、すなわちBスプライン、Mスプライン、ならびに積分スプライン（Iスプライン）を、等間隔、分位点ベース、目的変数を意識した（target-aware）、および学習可能なノット配置のもとで調べる。学習可能なノット（learnable-knot）バリアントでは、背骨（backbone）と共同でノット位置を安定にエンドツーエンド最適化できる微分可能なノットパラメータ化を用いる。これらの符号化を、MLP、ResNet、FT-Transformer のバックボーンを用いて、多様な公開の回帰・分類データセット群で評価し、一般的な数値前処理のベースラインと比較する。結果は、数値符号化の効果が課題、出力サイズ、バックボーンに強く依存することを示している。分類では、区分線形符号化（PLE）が全体として最も頑健な選択肢であり、スプラインに基づく符号化も依然として競争力を保つ。回帰では、単一の符号化が一様に支配することはない。代わりに、性能はスプライン族、ノット配置戦略、出力サイズに依存し、大きな改善は通常、FT-Transformer よりも MLP と ResNet でより顕著に観測される。さらに、提案したパラメータ化のもとでは、学習可能なノットのバリアントは安定に最適化できる一方で、訓練コストが大幅に増加し得ること、特に Mスプライン展開と Iスプライン展開で顕著であることを見出す。総じて、結果は、数値符号化は予測性能だけでなく、計算オーバーヘッドの観点でも評価すべきであることを示している。