指数級規模の地球システム予測に向けた、線形計算量でのグローバルアテンション型生成データ同化

arXiv cs.LG / 2026/4/21

📰 ニュースDeveloper Stack & InfrastructureModels & Research

要点

  • この論文は、従来の予報・更新サイクルではなくデータ同化(DA)をベイズ事後サンプリングとして再定式化する、ワンステージの生成DAフレームワークを提案しています。
  • 中核となるSTORMは、グローバル・アテンションを線形計算量へスケールさせる手法により、二次的な注意(attention)のボトルネックを解消するスパチオテンポラルトランスフォーマです。
  • 著者らはFrontier上でのGPUスケーリングを報告しており、32,768 GPUで63%の強スケーリング効率と1.6 ExaFLOPの持続性能を達成しています。
  • さらに200億のスパチオテンポラルトークンまで拡張し、177kの時間フレームにわたるkmスケールのグローバルモデリングを可能にしたと述べています。
  • この研究は、スケーラブルで正確な推論が難しいことがボトルネックとなっている点(不確実性の定量化や極端事象の予測)に対し、改善を目指しています。

要旨: 正確な天気および気候予測は、データ同化(DA)に依存しており、観測とモデルを統合することで地球システムの状態を推定します。エクサスケール計算は地球シミュレーションを大きく前進させてきましたが、地球システム状態のスケーラブルで正確な推論は依然として根本的なボトルネックであり、不確実性の定量化や極端現象の予測を制限しています。本研究では、従来の予報-更新のサイクルを置き換えて、計算密度が高くGPU効率のよい推論を用いることで同化をベイズ事後サンプリングとして再定式化する、統一的な1段階生成型DAフレームワークを提案します。中核となるのはSTORMであり、二次的アテンションの障壁を突破する、線形複雑度スケーリングのアルゴリズムを備えた新規の時空間トランスフォーマです。Frontierスーパーコンピュータの32,768基のGPU上で、提案手法は63%の強スケーリング効率と、1.6 ExaFLOPの持続性能を達成します。さらに、200億(20 billion)の時空間トークンへと拡張し、177kの時間フレームにわたるkmスケールのグローバルモデリングを可能にしました。これは、これまで到達できなかった領域であり、地球システム予測の新たなパラダイムを確立します。