DiveUp: 多様なビジョンファウンデーションモデルからの特徴アップサンプリングを学ぶ

概要: 最近、特徴アップサンプリングは、ピクセルレベルの理解タスクのために視覚ファウンデーションモデル（VFMs）の性能を向上させる効果があることから、ますます注目を集めています。既存の手法は通常、同じ基盤モデルからの高解像度特徴に依存して自己再構成を通じてアップサンプリングを実現します。しかし、モデル内の特徴だけに依存すると、アップサンプラーはソースモデルの固有の位置ずれや高ノルムアーチファクトに過剰適合します。この根本的な制約に対処するため、複数のVFMsの関係指導を導入して単一モデル依存から脱却する新規フレームワーク DiveUp を提案します。素朴な特徴融合の代わりに、DiveUpは多様なVFMsを専門家のパネルとして活用し、それらの構造的合意を用いてアップサンプラーの学習過程を正規化し、ソースモデルから不正確な空間構造が伝搬するのを効果的に防ぎます。異なるVFMs間で揃っていない特徴空間を調整するため、局所重心(COM)場として定式化された普遍的な関係特徴表現を提案します。これにより本質的な幾何学的構造を抽出し、モデル間のシームレスな相互作用を可能にします。さらに、各VFMの空間的信頼性を評価するスパイク性を考慮した選択戦略を導入し、高ノルムのアーチファクトを効果的に除去して、各局所領域で最も信頼できる専門家からの指針のみを集約します。 DiveUp は統一的でエンコーダに依存しないフレームワークです。共同訓練されたモデルは、個別のモデルを再訓練することなく、多様なVFMsからの特徴を普遍的にアップサンプリングできます。大規模な実験により、DiveUpがさまざまな下流の密集予測タスクで最先端の性能を達成することを示し、複数の専門家による関係指導の有効性を検証しています。コードとモデルは以下で利用可能です: https://github.com/Xiaoqiong-Liu/DiveUp