プロンプト不要のユニバーサル領域提案ネットワーク

発表タイプ: new
要旨: 潜在オブジェクトの識別は、さまざまなコンピュータビジョンアプリケーションにおけるオブジェクト認識と分析にとって重要です。既存の手法は通常、標本画像、事前定義されたカテゴリー、またはテキスト記述に依存して潜在オブジェクトを局所化します。しかし、画像とテキストプロンプトへの依存は柔軟性を制限することが多く、実世界のシナリオでの適応性を制約します。本論文では、外部プロンプトに依存せず潜在オブジェクトを識別する新規な Prompt-Free Universal Region Proposal Network (PF-RPN) を提案します。まず、Sparse Image-Aware Adapter (SIA) モジュールは、視覚特徴で動的に更新される学習可能なクエリ埋め込みを用いて潜在オブジェクトの初期局所化を行います。次に、Cascade Self-Prompt (CSP) モジュールは、自己プロンプトされた学習可能な埋め込みを活用して残りの潜在オブジェクトを特定し、階層的に有益な視覚特徴を自動的に統合します。最後に、Centerness-Guided Query Selection (CG-QS) モジュールは、センター性スコアリングネットワークを用いて高品質なクエリ埋め込みの選択を促進します。我々の手法は、限られたデータ（例：MS COCO データの5%程度）で最適化でき、ファインチューニングを行わなくても、水中物体検出、産業欠陥検出、リモートセンシング画像物体検出など、さまざまな物体検出アプリケーション分野に直接適用して潜在オブジェクトを識別できます。19のデータセットにわたる実験結果は、我々の手法の有効性を検証しています。コードは https://github.com/tangqh03/PF-RPN に公開されています。