歩行者を超えて：高難度な動画ベース人物再識別のためのキャプション誘導CLIPフレームワーク

要旨: 近年、ビデオベースの人物再識別（ReID）は、重なりのないカメラ間で個人を照合するために時空間的手がかりを活用できる点から注目を集めています。しかし、現在の手法は、高い難度を持つシナリオ、たとえばスポーツやダンスのパフォーマンスのように、複数の個人が同様の服装をしながら動的な動作を行う場面では苦戦しています。これらの課題を克服するために、本研究では、明示的なテキスト記述と学習可能なトークンを活用する、キャプション誘導型CLIPの新しい枠組みであるCG-CLIPを提案します。本手法は、2つの主要コンポーネントを導入します。すなわち、キャプション誘導型メモリ洗練（CMR）と、トークンベース特徴抽出（TFE）です。CMRはマルチモーダル大規模言語モデル（MLLM）によって生成されたキャプションを用いて、識別対象に固有の特徴を洗練し、細かな詳細を捉えます。TFEは、固定長の学習可能トークンとクロスアテンション機構を用いて時空間特徴を効率的に集約し、計算オーバーヘッドを低減します。提案手法を2つの標準データセット（MARSおよびiLIDS-VID）と、2つの新たに構築した高難度データセット（SportsVReIDおよびDanceVReID）で評価します。実験結果は、本手法が現在の最先端アプローチを上回り、すべてのベンチマークにおいて顕著な改善を達成することを示しています。