検出器が自ら学ぶ：オープン語彙物体検出のための軽量な自己教師あり適応

Abstract

オープン・ボキャブラリー物体検出は、カテゴリのオープン集合から物体を認識することを目指し、大規模な画像-テキストデータで事前学習された視覚言語モデル（VLM）を活用します。協調パラダイムは、ゼロショット認識のために物体検出器とVLMを組み合わせます。しかし、フル画像に対して事前学習されたVLMは、局所的な物体の詳細を捉えるのが難しいことが多く、領域レベルの検出に適用した場合には有効性が制限されます。本稿では、協調モデルベースの物体検出のためにVLMを改善する自己教師あり微調整手法であるDecoupled Adaptivity Training（DAT）を提案します。協調モデルはクローズドセットの検出器とVLMで構成されるため、まず、事前学習済みのクローズドセット物体検出器を用いて、領域に着目した疑似ラベル付きデータセットを構築します。このとき、未知の物体に対応する領域は存在しうるものの、未ラベルまたは誤ラベルのままである可能性があります。次に、重み補間によって大域的な意味知識を保持しつつ、局所特徴の整合性を高めるように、VLMの視覚バックボーンを分離した（デカップルした）形で微調整します。DATはプラグアンドプレイ型のモジュールであり、推論時のオーバーヘッドを必要とせず、0.8M未満のパラメータを微調整します。COCOおよびLVISデータセットに関する実験では、DATが未知カテゴリと既知カテゴリの両方において一貫して検出性能を向上させることが示され、協調オープンボキャブラリー検出における新たな最先端の性能を確立しました。