InterPartAbility：テキストによる部品マッチングで実現する、解釈可能な人物再識別

概要: テキストから画像への人物再識別（TI-ReID）は、自然言語のテキスト記述に依存して、大規模な画像ギャラリーから最上位の一致人物を検索します。近年の大規模視覚言語モデル（VLM）は強力な検索性能を達成していますが、その判断は概ね解釈不能なままです。TI-ReIDにおける既存の解釈可能性アプローチは、スロット注意（slot-attention）だけに基づいて注目領域を強調するものの、視覚領域を意味的に有意な概念へ確実に結び付けることに失敗しており、説明が限定された語彙に対する定性的な視覚化にとどまってしまいます。本論文では、明示的なパートごとのマッチングを行い、フレーズ-領域のグラウンディングを可能にする、解釈可能なTI-ReID手法であるInterPartAbilityを提案します。新しいオープンボキャブラリの軽量な監督（lightweight supervision）と、パッチ-フレーズ相互作用モジュール（PPIM）を提案し、概念レベルのガイダンスによって標準的なTI-ReIDモデルを訓練します。概念に基づくパートのフレーズは、モデルが対応する画像領域に注目することを促す根拠を提供します。さらにInterPartAbilityは、各パートレベルのフレーズに整合するように、空間的に集中したパッチ活性を生成するために、CLIP ViTの自己注意を制約し、グラウンディングされた説明マップを得ます。TI-ReIDに対する定量的な解釈可能性プロトコルを導入します。これは、摂動（perturbation）に基づく評価指標を適応することで実現し、上位の説明領域を除去したときの検索劣化を測定する反事実的（counterfactual）領域マスキングなどを含みます。CUHK-PEDESやICFG-PEDESといった難易度の高いベンチマークにおける実証結果ootnote{当社のコードは補足資料に含まれており、公開されます。}は、これらの指標においてInterPartAbilityが最先端（SOTA）の解釈可能性性能を達成しつつ、同等の検索精度も維持していることを示しています。