夜間UAV追跡のためのデュアルプロンプト駆動特徴エンコーディング

Abstract

頑健な特徴エンコードは、ターゲットの外観と動きを微妙に知覚できるようにすることで、UAV追跡の基盤を形成し、信頼性の高い追跡を確保する上で重要な役割を果たします。しかし、既存の特徴エンコード手法は、夜間の過酷な条件下で堅牢な知覚に不可欠な照明と視点の手掛かりをしばしば見落とし、追跡性能の低下につながります。上記の制限を克服するため、本研究は、プロンプト条件付き特徴適応と文脈認識プロンプト進化を統合し、ドメイン不変な特徴エンコードを促進するデュアルプロンプト駆動型特徴エンコード手法を提案します。具体的には、ピラミッド照明プロンプターを提案し、マルチスケールの周波数認識照明プロンプトを抽出します。%ダイナミックな視点プロンプターは、異なる視点に合わせてサンプリングを適応させ、トラッカーが視点不変の特徴を学習できるようにします。ダイナミックな視点プロンプターは、視点の変動に対応するように変形可能畳み込みのオフセットを調整し、トラッカーが視点不変の特徴を学習できるようにします。広範な実験は、提案されたデュアルプロンプト駆動トラッカー（DPTracker）の夜間UAV追跡への有効性を検証します。アブレーション研究は、DPTrackerの各コンポーネントの貢献を浮き彫りにします。多様な夜間UAV追跡シナリオ下での実世界テストは、頑健性と実用性をさらに示しています。コードとデモ動画は https://github.com/yiheng-wang-duke/DPTracker にあります。