ゼロショット物体計数のための定量性と空間認識の強化

概要: Zero-shot object counting (ZSOC) は、視覚的な実例を必要とせず、テキスト説明で指定された任意のカテゴリの物体を列挙することを目的とします。
しかし、既存の手法はしばしばカウントを粗い検索タスクとみなすため、微細な数量の認識が不足しています。
また、特徴空間の歪みによって空間的な感度が欠如し、モデル適応時の一般化が低下することがよくあります。
これらの課題に対処するために、\textbf{QICA}、\underline{q}uantity percept\underline{i}onと堅牢な空間\underline{c}ast \underline{a}ggregationを統合した新しいフレームワークを提示します。
具体的には、視覚エンコーダと言語エンコーダを数値的に条件付けられたプロンプトを通じて適応させる協働型プロンプティング戦略 (\textbf{SPS}) を導入し、意味認識と定量的推論の間のギャップを埋めます。
特徴の歪みを緩和するために、視覚-テキスト類似性マップ上で直接動作するコスト集約デコーダ (\textbf{CAD}) を提案します。
これらのマップを空間的集約によって洗練させることで、CAD は過学習を防ぎ、ゼロショット転移性を維持します。
また、全体のパイプラインにおける数値的一貫性を強制するために、多段階の数量整合損失 (\mathcal{L}_{MQA}) を用います。
FSC-147 における広範な実験は競争力のある性能を示し、CARPK と ShanghaiTech-A でのゼロショット評価は未見ドメインへの優れた一般化を検証します。