連続学習による天候エミュレーションのためのニューラル・スケーリング則
arXiv cs.LG / 2026/3/27
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、天候のエミュレーション／予測における科学機械学習のニューラル・スケーリング則を調べ、主要なスケーリング挙動を切り分けるために、最小かつスケーラブルなSwin Transformer構成を用いる。
- 連続学習（continual training）に基づく効率的な学習戦略を提案し、学習率を一定に保ちつつ、周期的なクールダウンを組み合わせることで、標準的なcosineスケジュールと比べて、予測可能なスケーリング傾向と性能向上を示す。
- 著者らは、クールダウン段階を下流タスクの強化に転用できることを見出しており、とりわけ、より長い多ステップ・ロールアウトの地平線や、スペクトル損失の調整によるより鋭い予測につながる。
- 多数のモデル／データサイズおよび計算予算にわたる実験を行い、IsoFLOPカーブを構築し、計算効率の観点で最適な学習レジームを特定する。
- 本研究は、外挿されたスケーリング傾向が、効率的な資源配分における性能限界の診断に役立つと主張し、再現性のためにコードを公開する。
