SynopticBench：将来の天気予報ディスカッション生成を評価するためのビジョン・ランゲージ・モデル評価

要旨: 近年の視覚言語モデル（VLM）の進歩は、画像キャプション付け、レポート生成、視覚認識といった数多くの複雑なマルチモーダル課題において、顕著な改善をもたらしてきました。とはいえ、気象データからテキストを生成することは非常に困難です。大気は、さまざまな空間スケールおよび時間スケールで急速に変化する混沌としたシステムだからです。大気現象の複雑さを踏まえると、既存のVLMが天気予報データに対して有効であることを、検証可能な形で定量化することが重要です。本研究では、SynopticBench を提案します。これは、高品質なデータセットであり、米国本土における気象予報について、全米気象局（National Weather Service）が作成した「Area Forecast Discussions（地域予報ディスカッション）」の1,367,041件のテキストサンプルを、500mb ゲオポテンシャル高度、2メートル温度、850mb 風速の画像とペアにして構成したものです。さらに、Synoptic Phenomena Alignment and Coverage Evaluation（SPACE）という新しい評価枠組みも提案します。これは、総観規模の天気現象に関するテキスト記述の品質を効果的に推定するために用いることができます。本領域における最先端のVLMを用いた予報ディスカッション生成のための大規模な実験により、この分野における既存の評価指標の感度が示され、総観的な天気および気候のテキスト生成に関するさらなる探究が可能になります。