HFP-SAM：効率的な海洋生物セグメンテーションのための階層的周波数誘導 SAM

要旨: 海洋生物セグメンテーション（MAS）は、複雑な海洋環境から海洋生物を識別し、セグメント化することを目的としています。従来の深層学習ベースのMAS手法の多くは、長距離モデリングの問題に苦しんでいます。最近、Segment Anything Model (SAM) は、一般的な画像分割で人気を集めています。ただし、細かなディテールや周波数情報を認識する能力が欠如しています。この目的のために、高性能な MAS のための新しい学習フレームワーク、Hierarchical Frequency Prompted SAM (HFP-SAM) を提案します。まず、周波数領域の事前マスクを介して、凍結した SAM バックボーンへ海洋シーン情報を効率的に注入する Frequency Guided Adapter (FGA) を設計します。さらに、周波数解析を用いてハイライト領域を生成する Frequency-aware Point Selection (FPS) を導入します。これらの領域は、SAM の粗い予測と組み合わせて点プロンプトを生成し、SAM のデコーダに統合して高精度な予測を行います。最後に、包括的なセグメンテーションマスクを得るために、全視野の Mamba (FVM) を導入します。これにより、空間的およびチャネルの文脈情報を線形計算量で効率的に抽出します。4つの公開データセットでの広範な実験により、私たちの手法の優れた性能を示しています。ソースコードは https://github.com/Drchip61/TIP-HFP-SAM で公開されています。