VL-SAM-v3：メモリに導かれた視覚的プライオアによるオープンワールド物体検出

要旨: オープンワールド物体検出は、固定された閉集合ラベル空間を超えて、物体を位置特定し認識することを目的とします。これは一般に2つのカテゴリ、すなわち、テスト時に事前に定義されたカテゴリリストを仮定するオープン・ボキャブラリ検出と、推論の間に候補カテゴリを生成することを必要とするオープンエンド検出に分けられます。既存の手法は主として粗いテキスト意味論とパラメトリックな知識に依存しており、細かな外観の変動、稀なカテゴリ、雑然としたシーンに対して十分ではない視覚的証拠しか提供できないことがしばしばです。本論文では、オープンワールド検出を検索に基づく外部視覚メモリで補強する統一フレームワークであるVL-SAM-v3を提案します。具体的には、候補カテゴリが利用可能になった後、VL-SAM-v3は非パラメトリックなメモリバンクから関連する視覚プロトタイプを検索し、それらを2つの補完的な視覚的事前情報へと変換します。すなわち、インスタンスレベルの空間アンカリングのための疎な事前情報と、クラスに配慮したローカルな文脈のための密な事前情報です。これらの事前情報は、Memory-Guided Prompt Refinement（メモリに導かれたプロンプトの洗練）によって元の検出プロンプトに統合され、オープン・ボキャブラリ推論とオープンエンド推論の両方を支える、検索と洗練の共有メカニズムを可能にします。LVISに対する大規模なゼロショット実験により、VL-SAM-v3はオープン・ボキャブラリ推論およびオープンエンド推論のいずれにおいても一貫して検出性能を向上させ、特に稀なカテゴリで顕著な改善が得られることを示します。さらに、より強力なオープン・ボキャブラリ検出器（すなわちSAM3）を用いた実験により、提案する検索と洗練のメカニズムの一般性が検証されます。