LWM-Temporal: 無線チャネル表現学習のためのスパース時空間アテンション
arXiv cs.LG / 2026/3/12
📰 ニュースSignals & Early TrendsModels & Research
要点
- 本論文は、時空間的無線チャネルの普遍的なチャネル埋め込み表現を学習することを目的とした、Large Wireless Models ファミリーの新しいモデルである LWM-Temporal を紹介します。
- 角度–遅延–時間領域における Sparse Spatio-Temporal Attention（SSTA）を導入し、物理的に妥当な近傍に限定した相互作用により、幾何学的一貫性のある依存関係を保ちながら注意の計算量を約1桁削減します。
- 自己教師ありで物理情報を取り入れたマスキングカリキュラムを用いて、現実的な遮蔽、パイロットのスパース性、測定の劣化を模倣して学習します。
- 複数のモビリティレジームにおけるチャネル予測で一貫した改善を示し、特に長期のホライゾンと微調整データが限られている状況で顕著であることを強調します。幾何学を意識したアーキテクチャと幾何学的一貫性のある事前学習の重要性を浮き彫りにしています。
LWM-Temporal は、無線チャネルの時空間的性質をターゲットにする Large Wireless Models (LWM) ファミリーの新規メンバーです。タスクに依存しない基盤モデルとして設計された LWM-Temporal は、モビリティによる進化を捉え、さまざまな下流タスクで再利用可能な普遍的なチャネル埋め込み表現を学習します。これを達成するために、LWM-Temporal は角度–遅延–時間領域で動作し、SSTA（Sparse Spatio-Temporal Attention）と呼ばれる伝搬に沿った注意機構を導入します。これは物理的に妥当な近傍に相互作用を限定し、幾何学的一貫性のある依存関係を保ちながら注意計算の複雑さを約1桁削減します。LWM-Temporal は、現実的な遮蔽、パイロットのスパース性、測定の劣化を模倣する物理情報を取り入れたマスキングカリキュラムを用いた自己教師あり学習により事前学習されます。複数のモビリティレジームにおけるチャネル予測の実験結果は、強力なベースラインに対して一貫した改善を示し、特に長いホライゾンと微調整データが限られている場合に顕著であることを示しています。幾何学を意識したアーキテクチャと幾何学的一貫性のある事前学習は、転移可能な時空間的無線表現を学習するうえで重要であることを強調しています。
