MeTok: 超整合グルーピング学習を用いた降水の現在予測のための効率的な気象トークン化

arXiv cs.AI / 2026/3/17

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は MeTok を提案します。分布中心の気象トークン化で、位置中心のアプローチに頼るのではなく、相互作用をより反映するために類似した気象特徴をグルーピングします。
ハイアラインド・グルーピング・トランスフォーマー（HyAGTransformer）の2つの革新を提案します。降水パターン間の自己整合学習を行うグルーピング・アテンション（GA）と、隣接グループからの文脈情報を集約するNeighborhood FFN（N-FFN）です。
ERA5 データを用いた 6 時間ごとの降水の現在予測において、本手法は極端な降水予測で少なくとも IoU が 8.2% 向上し、より多くのデータと大規模モデルでのスケーラビリティを示します。
このアプローチは、さまざまな降水パターンに対する頑健性を提供し、気象予測の効率性向上の可能性があり、気象予測システムにおける将来の展開に影響を与えます。

要旨：最近、Transformerベースのアーキテクチャは気象予測を進展させてきました。しかし、この位置情報中心のトークナイザーは、気象系の核心原理と矛盾します。天気現象は確かに複数の要素間の協調的な相互作用を伴い、位置情報は境界条件の単なる構成要素に過ぎません。本論文は主に降水の現在予測(nowcasting)タスクに焦点を当て、類似した気象特徴を空間的に配列してグループ化する効率的な分布中心の気象トークナイゼーション(MeTok)スキームを開発します。再配置に基づく再整列グループ学習は、降水パターン全体、特に極端なものに対して頑健性を高めます。具体的には、Hyper-Aligned Grouping Transformer（HyAGTransformer）を2つの主要な改良とともに導入します：1) Grouping Attention（GA）機構は MeTok を用いて、異なる降水パターンからの特徴の自己整列学習を可能にします；2) Neighborhood Feed-Forward Network（N-FFN）は隣接するグループ特徴を統合し、文脈情報を集約してパッチ埋め込みの識別性を高めます。ERA5データセットを用いた6時間予測の実験では、他の方法と比較して極端な降水予測においてIoU指標を少なくとも8.2%向上させることを示しました。さらに、より多くのトレーニングデータと増加したパラメータにより性能を向上させ、従来の方法に対する拡張性、安定性、優位性を示します。