Sparse-by-Design Cross-Modality Prediction: L0-Gated Representations for Reliable and Efficient Learning

Abstract

予測システムは、グラフ、言語、表形式の記録のような異種モダリティにまたがることがますます増えていますが、疎性（sparsity）と効率性（efficiency）は依然としてモダリティごとに固有のものです（グラフの辺または近傍の疎化、Transformerのヘッドまたは層のプルーニング、そして別々の表形式特徴選択パイプライン）。この断片化により、結果の比較が難しくなり、デプロイを複雑にし、エンドツーエンドのKDDパイプライン全体での信頼性分析が弱まります。統一された疎化のプリミティブがあれば、モダリティ間で精度と効率のトレードオフを比較可能にし、表現の圧縮下で制御された信頼性分析を可能にします。単一の表現レベルの仕組みによって、確率キャリブレーションを維持または改善しつつ、モダリティ間で同等の精度と効率のトレードオフを得られるのか、私たちは問いかけます。私たちは、学習された表現に対して直接L0型の疎性を課す、モダリティ非依存の特徴（feature-wise）ハードコンクリート・ゲーティングの枠組みであるL0-Gated Cross-Modality Learning（L0GM）を提案します。L0GMは、各モダリティの分類器側インターフェースに、ハードコンクリートの確率的ゲートを取り付けます：ノード埋め込み（GNN）、CLS（Transformers）のようなプーリングされたシーケンス埋め込み、そして学習された表形式の埋め込みベクトル（表形式モデル）です。これにより、アクティブな特徴分率に対する明示的な制御ノブを備えた、エンドツーエンドで学習可能な疎化が実現されます。最適化を安定化し、トレードオフを解釈可能にするために、L0-アニーリングのスケジュールを導入し、明確な精度-疎性のパレート曲線を生み出します。3つの公開ベンチマーク（ogbn-products、Adult、IMDB）において、L0GMは、表現の次元をより少なくアクティブにしながらも競争力のある予測性能を達成し、評価ではExpected Calibration Error（ECE）を低減します。全体として、L0GMは、異種モダリティにわたる精度、効率、キャリブレーションのトレードオフ解析を比較可能に支える、モダリティ非依存で再現可能な疎化プリミティブを確立します。