PR-MaGIC: マスクデコーダのグラディエントフローによるインコンテキスト・セグメンテーションのためのプロンプト洗練

Abstract

Segment Anything Model（SAM）のような視覚基盤モデル（VFM）は、画像のセグメンテーションの幅広い利用を大きく前進させてきました。しかし、SAMとその派生モデルは、プロンプト生成のために相当の手作業を要し、さらに特定のアプリケーションに対応するための追加学習も必要です。近年の手法では、SAMをインコンテキスト（ワンショット／フューショット）セグメンテーションに統合することで、クエリ画像とサポート画像の意味的整合により自動プロンプト生成を可能にし、これらの制約を解決しようとしています。これらの取り組みにもかかわらず、サポート画像とクエリ画像の視覚的な不整合により生成されたプロンプトが最適でないものとなり、その結果としてセグメンテーションの品質が低下します。この制限に対処するために、我々はPR-MaGIC（In-Context Segmentationにおけるマスクデコーダの勾配フローによるプロンプト洗練）を提案します。PR-MaGICは、SAMのマスクデコーダから導出される勾配フローによりプロンプトを洗練する、学習不要のテスト時フレームワークです。PR-MaGICはインコンテキストセグメンテーションの枠組みにシームレスに統合でき、理論的裏付けを持ちながら、サンプル間で頑健な性能を保証する単純なtop-1選択戦略によって実用上安定化されています。広範な評価の結果、PR-MaGICはさまざまなベンチマークにおいて一貫してセグメンテーション品質を向上させ、不十分なプロンプトによる悪影響を、追加学習やアーキテクチャ変更なしで効果的に緩和できることが示されました。