インタラクティブ・トラッキング：メモリ拡張による適応を伴うヒューマン・イン・ザ・ループ・パラダイム

概要: 既存の視覚トラッカーは主に非インタラクティブで「一度実行して忘れる（fire-and-forget）」方式で動作しており、人間が介在して（human-in-the-loop）適応を行う必要がある現実のシナリオには適していません。この制約を克服するために、我々はInteractive Tracking（インタラクティブ・トラッキング）という新しいパラダイムを提案します。これは、自然言語コマンドによって、ユーザがいつでもトラッカーを誘導できる仕組みです。この方向性の研究を支えるために、我々は3つの主要な貢献を行います。第一に、インタラクティブ・トラッキングのための初の大規模ベンチマークであるInteractTrackを提示します。これは、150本の動画と、密なバウンディングボックス注釈、およびタイムスタンプ付きの言語指示を含みます。第二に、包括的な評価プロトコルを提案し、代表的な25のトラッカーを評価します。その結果、最先端手法はインタラクティブな状況では失敗することを示します。従来のベンチマークでの優れた性能は、インタラクティブな設定には転移しません。第三に、ユーザのフィードバックから学習し、それに応じてトラッキング挙動を更新するための動的メモリ機構を用いる新しいベースラインであるInteractive Memory-Augmented Tracking（IMAT）を導入します。我々のベンチマーク、プロトコル、ベースラインは、より知的で適応的かつ協調的なトラッキングシステムを開発するための基盤を確立し、自動化された知覚と人間による誘導のギャップを埋めます。完全なベンチマーク、トラッキング結果、分析は https://github.com/NorahGreen/InteractTrack.git で公開されています。