コントラスト学習が天気データに対して決定論的モデルと生成モデルを強化する

概要: 複数の変数からなる気象データは、高次元性とマルチモーダルな性質により大きな課題をもたらします。低次元の埋め込みを作るには、このデータをコンパクトで共有された潜在空間に圧縮する必要があります。この圧縮は、予測や極端気象の検出といった下流タスクの効率と性能を向上させるために必要です。
自己教師あり学習、特にコントラスト学習は、ラベルなしデータから低次元で頑健な埋め込みを生成する方法を提供し、ラベル付きデータが乏しい場合でも下流タスクを可能にします。気象データ、特にERA5データセットに対するコントラスト学習の初期的な検討はあるものの、現行の文献では、代替の圧縮手法、とりわけオートエンコーダと比べたときの利点が十分に検討されていません。さらに、コントラスト学習に関する現在の研究では、より現実のデータ収集で一般的な疎データを、これらのモデルがどのように取り込めるかが調査されていません。疎な気象データに対してコントラスト学習がより頑健な埋め込みの生成にどのように寄与し、それによって下流タスクの性能をどのように改善するのかを探究し理解することが重要です。
本研究では、ERA5データセットに対するコントラスト学習を広範に検討し、コントラスト損失項によって疎サンプルを完全なサンプルに対応付けることで、SPARse-data augmented conTRAstive spatiotemporal embeddings（SPARTA）を作成します。潜在空間の構造を改善するために、時間を考慮したバッチサンプリング戦略とサイクル整合性損失を導入します。さらに、ドメイン固有の物理知識を注入するための新しいグラフニューラルネットワークの融合手法を提案します。最終的に、本手法の結果は、コントラスト学習が疎な地球科学データに対する実行可能で有利な圧縮手法であり、それにより下流タスクの性能を向上させることを示しています。