埋め込みの重要性: EO埋め込み設計の選択肢の評価

要旨: 地球観測（EO）ミッションはペタバイト級の多スペクトル画像を生み出し、ますます大規模な地理空間基盤モデル（GeoFM）によって分析されている。エンドツーエンドの適応に加えて、ワークフローはタスクに依存しない埋め込みとしての中間表現の活用を拡大しており、モデルは一度表現を計算して下流タスク全体で再利用できるようになっています。したがって、GeoFMが特徴量抽出器として機能する場合、表現をどのように取得・集約・結合するかという決定は、下流の性能とパイプラインのスケーラビリティに影響します。スケーラブルな埋め込みベースのEOワークフローを理解するには、これらのトレードオフを理解することが不可欠であり、コンパクトな埋め込みは生データを置換しつつ広く有用であり得ます。我々はGeoFMベースのEOワークフローにおける埋め込み設計の体系的分析を提示します。 NeuCo-Benchを活用して、バックボーンアーキテクチャ、事前学習戦略、表現の深さ、空間的集約、表現の結合がEOタスクの性能に与える影響を調査します。 生データより500倍以上小さい固定サイズの表現へと集約することで、GeoFM埋め込みの実用性を示しています。 モデルを横断して、以下の一貫した傾向が見られます：平均プーリングを用いたトランスフォーマーのバックボーンは強力なデフォルト埋め込みを提供し、中間（最終層ではない）ResNet層は最終層を上回ることがあり、自己教師ありの目的はタスク固有の強みを示し、異なる目的から埋め込みを結合することで頑健性が向上することが多い。 これらの結果は、埋め込みベースのEOワークフローの実用的な設計選択に情報を提供し、埋め込み戦略を選択する際の精度とスケーラビリティのトレードオフを強調しています。