DynaTab：高次元の表形式データに対するニューラル・リワイアリングとしての動的特徴順序付け

要旨: 高次元の表形式データには自然な特徴量の順序が存在しないため、順列に敏感な深層学習モデルの適用が制限されます。私たちは、ニューラル・リワイヤリングに着想を得た、動的特徴量順序付けを可能にするアーキテクチャ DynaTab を提案します。特徴量の順列がデータセットに有益となるタイミングを予測する、軽量な基準を導入します。これは、その固有の複雑性を定量化することで実現します。DynaTab はニューラル・リワイヤリングのアルゴリズムにより特徴量を動的に再順序付けし、さらに、それらを別々に学習された位置埋め込み、重要度に基づくゲーティング、マスク付き注意層からなるコンパクトな動的順序対応の組み合わせを通して処理します。これは、任意の系列に敏感なバックボーンと互換です。DynaTab は、固有の動的特徴量順序付け（DFO）損失と分散損失を用いてエンドツーエンドで学習され、統計的に有意な改善を達成します。特に、高次元データセットでは顕著であり、36種類の異なる実世界の表データセットに対して、45の最先端ベースラインとベンチマークされています。これらの結果により、DynaTab は高次元の表形式深層学習における魅力的な新たなパラダイムとして位置づけられます。