グローバルからローカルへ：人物再識別におけるCLIP特徴集約の再考

Abstract

CLIPベースの人物再識別（ReID）手法は、空間的特徴を1つのグローバルな exttt{[CLS]} トークンに集約しますが、このトークンは空間選択性よりも画像—テキスト整合のために最適化されているため、遮蔽やカメラ間変動の下では表現が脆弱になります。そこで我々はSAGA-ReIDを提案します。これは、CLIPのテキスト埋め込み空間でパラメータ化されたアンカーベクトルに、途中のパッチトークンを整列させることで、アイデンティティ表現を再構築します——個々の画像のテキスト記述を必要とせず、空間的に安定した証拠を強調しつつ、破損または欠落した領域を抑制します。制御された実験により、集約メカニズムの効果を、質的に異なる2つの条件で切り分けます。すなわち、アイデンティティ信号が存在しない合成マスキングと、重なり合う人物が意味的に混乱を招く信号を与える現実の人物ディストラクタです。その結果、両条件において遮蔽が増えるにつれて、グローバルプーリングよりもSAGAの優位性が大きくなります。ベンチマーク評価では、標準設定および遮蔽設定のいずれでもCLIP-ReIDに対して一貫した向上が確認され、特にグローバルプーリングが最も信頼できない状況で最大の改善が得られます：遮蔽ベンチマークで最大 +10.6 Rank-1。SAGAの集約は、より強力なバックボーン上で専用の逐次的パッチ集約よりも優れており、構造化された再構築が、バックボーンの品質やアーキテクチャの複雑さだけでは解決できないボトルネックに対処することを裏付けています。コードは https://github.com/ipl-uw/Structured-Anchor-Guided-Aggregation-for-ReID で公開されています。