BALD-SAM: インタラクティブセグメンテーションにおける不一致ベースのアクティブプロンプト

本文: arXiv:2603.10828v1 アナウンス種別: 新規 要約: Segment Anything Model (SAM) は、空間的プロンプトを通じてインタラクティブセグメンテーションを革新してきました。既存の研究は主にさまざまな設定でプロンプトを自動化することに焦点を当てていますが、実世界の注釈ワークフローには、モデル出力を観察し、曖昧さを解消するために戦略的にプロンプトを配置する反復的な改善が含まれます。現在のパイプラインは通常、予測マスクの品質をアノテータの視覚的評価に依存します。私たちは、自動化された対話型プロンプトの原則的アプローチは、次のプロンプトのために最も情報量の多い領域を識別するモデル由来の基準を用いることだと提案します。本研究では、アクティブプロンプティングを確立します。これは、画像内の場所が未ラベルのプールを構成し、プロンプトが情報量の多い領域を優先するクエリとして機能する、空間的なアクティブ学習のアプローチです。各相互作用の有用性を高めます。我々はさらに BALD-SAM を提示します。これは、ベイズ的不一致によるアクティブラーニング（BALD）を空間的なプロンプト選択に適用する原理的なフレームワークで、エピステミック不確実性を定量化します。そうするために、モデル全体を凍結し、ベイズ的不確実性モデリングを小さな学習ヘッドのみに適用します。これにより、多数百万パラメータを持つ大規模ファウンデーションモデルでの難解な不確実性推定を実用的なものにします。自然、医療、水中、地震の領域にまたがる16のデータセットを通じて、BALD-SAM は強力なドメイン横断性能を示し、16ベンチマークのうち14で一位または二位を獲得しています。これらの利得は、3つのSAMバックボーンと35のLaplace事後分布設定を網羅する包括的なアブレーション群を通じて検証され、合計38件の異なるアブレーション設定に及びます。強力な平均性能を超えて、BALD-SAM は人間のプロンプトを上回り、いくつかのカテゴリでオラクルプロンプトにも及ぶことがあり、最終的なセグメンテーション品質では一発のベースラインを一貫して上回ります。特に薄く構造的に複雑な物体に対して顕著です。