CMCC-ReID：モダリティ変換・服装変更に対する人物再識別（Cross-Modality Clothing-Change Person Re-Identification）

Abstract

身元再識別（ReID）は、長期監視シナリオにおいてモダリティの不一致と衣服の変化によって、深刻な課題に直面している。既存の研究は、可視-赤外ReID（VI-ReID）または衣服変更ReID（CC-ReID）のいずれかで大きな進展を遂げてきた一方で、実世界の監視システムはしばしば両方の課題に同時に直面する。見落とされがちだが現実的なこの問題に対処するため、我々は、新たなタスクである「クロスモダリティ衣服変更再識別（CMCC-ReID）」を定義する。このタスクは、モダリティと衣服の両方の変化にまたがって歩行者を照合することを目的とする。この方向性の研究を推進するために、我々は新しいベンチマークSYSU-CMCCを構築する。これは、各アイデンティティが、異なる服装で、可視ドメインと赤外ドメインの両方で取得されており、長期監視における二重の異種性を反映している。CMCC-ReIDに取り組むため、我々は、進行的アイデンティティ整合ネットワーク（Progressive Identity Alignment Network; PIA）を提案する。PIAは、衣服の変化とモダリティの不一致の問題を段階的に緩和する。具体的には、二重分岐の分離学習（Dual-Branch Disentangling Learning; DBDL）モジュールが、アイデンティティに関連する手がかりを衣服に関連する要因から分離し、衣服非依存の表現を実現する。また、双方向プロトタイプ学習（Bi-Directional Prototype Learning; BPL）モジュールは、埋め込み空間上で同一モダリティ内および異なるモダリティ間のコントラストを行い、モダリティギャップを埋めるとともに、衣服による干渉をさらに抑制する。SYSU-CMCCデータセットに対する大規模な実験の結果、PIAはこの新タスクに対して強力なベースラインを確立し、既存手法を大幅に上回ることが示される。