FEAT: 極めて大規模な構造化データ向けの線形計算量基盤モデル

要旨: 構造化データは、医療、金融、eコマース、および科学データ管理の基盤です。大規模構造化データモデル（LDM）は、分類、回帰、意思決定支援などのタスクのために異種データセットを統合するために基盤モデルのパラダイムを拡張します。しかし、既存のLDMには重大な制約があります。第一に、ほとんどがサンプルごとの自己注意に依存しており、そのO(N^2)計算量がサンプル数を制限します。第二に、線形系列モデルは、隠れ状態の圧縮と人工的な因果バイアスのために表現を劣化させることがよくあります。第三に、合成データのみの事前学習は現実世界の分布に一致しないことが多いです。我々は FEAT を提案します。これは極めて大規模な構造化データのための線形計算量の基盤モデルです。FEAT は、2次の注意をハイブリッド線形エンコーディングに置換する多層デュアル軸アーキテクチャを導入します。アーキテクチャは、局所的なサンプル依存性には adaptive-fusion bi-Mamba-2（AFBM）を、グローバルメモリには畳み込みゲート付き線形注意（Conv-GLA）を組み合わせます。この設計は、表現力豊かな表現を維持しつつ、サンプル間の相互作用を線形計算量で実現します。頑健性を高めるため、FEAT はハイブリッド構造的因果モデルのパイプラインと安定した再構成目的を採用します。実世界のデータセット11件を対象とした実験では、FEAT はゼロショット性能で一貫してベースラインを上回り、線形にスケールし、推論を最大40倍高速化することを示しました。