PET-DINO：プロンプト強化トレーニングによってVisual CuesをGrounding DINOに統合する

要旨: オープンセット物体検出（OSOD）は、固定されたクラスを超えて新しいカテゴリを認識することを可能にしますが、複雑な視覚概念とテキスト表現の整合を図ることや、稀なカテゴリに対する画像-テキストペアの不足といった課題に直面しています。その結果、専門的な領域や複雑な物体において性能が最適でない状態になります。近年のビジュアル・プロンプト駆動手法はこれらの課題を部分的に解決しますが、多くの場合、複雑なマルチモーダル設計や多段階の最適化を伴い、開発サイクルが長引きます。さらに、データ駆動型OSODモデルに対する効果的な学習戦略は、ほとんど未検討のままです。これらの課題に対処するために、テキスト・プロンプトと視覚プロンプトの両方をサポートするユニバーサル検出器であるPET-DINOを提案します。我々のAlignment-Friendly Visual Prompt Generation（AFVPG）モジュールは、高度なテキスト・プロンプト駆動検出器を土台にしており、テキスト表現ガイダンスの制約に対処するとともに、開発サイクルを短縮します。プロンプトを強化した2つの学習戦略を導入します。1つは、反復レベルでのIntra-Batch Parallel Prompting（IBP）、もう1つは、全体の学習レベルでのDynamic Memory-Driven Prompting（DMD）です。これらの戦略により、複数のプロンプト経路を同時にモデル化でき、現実の多様な利用シナリオに対して並列に整合を図ることが可能になります。包括的な実験により、PET-DINOが、さまざまなプロンプト駆動型検出プロトコルにおいて、競争力のあるゼロショット物体検出能力を示すことを確認しています。これらの強みは、継承（inheritance）に基づく思想と、プロンプトを強化した学習戦略に起因しており、効果的な汎用物体検出器を構築するうえで重要な役割を果たします。プロジェクトページ: https://fuweifuvtoo.github.io/pet-dino。