SIMPLER: 地球観測向けの類似度ガイド型層剪定による効率的なファウンデーションモデル適応

要旨: 地球観測のための基盤モデルのファインチューニングは計算資源を大量に消費し、訓練とデプロイの双方で高い訓練時間とメモリ要求を伴います。パラメータ効率の高い手法は訓練コストを削減しますが、推論の全体的な複雑さは保持されます。一方、後処理圧縮は高価な完全なファインチューニングの後にのみ推論を最適化します。私たちはSIMPLERを導入します。これは適応前に効果的なモデル深さを特定することで、推論とデプロイのコストを削減するファインチューニング前のアーキテクチャ選択法です。SIMPLERは、事前学習済みビジョントランスフォーマーの深い層における表現の安定化を利用します。具体的には、ラベルなしタスクデータに対して層ごとの表現類似度を計算し、自動スコアリング関数を適用して冗長な層を選択します。勾配、振幅ヒューリスティック、またはハイパーパラメータ調整は必要ありません。Prithvi-EO-2では、SIMPLERは基準パフォーマンスの94%を維持しつつ、パラメータを最大79%削減します。これにより、訓練速度は約2.1倍、推論速度は約2.6倍向上します。この手法はTerraMind（マルチモーダルEO基盤モデル）およびImageNet事前学習済みのViT-MAEへと一般化でき、タスク、アーキテクチャ、およびスペクトルモダリティを横断して適用可能であることを示しています。コードは https://gitlab.citius.gal/hpc4rs/simpler に公開されています。