視覚言語モデルによるトレーニング不要のセマンティック・マルチオブジェクト追跡

概要: セマンティック・マルチオブジェクト・トラッキング（SMOT）は、ビデオ要約、インスタンス単位のキャプション、インタラクションラベルといったセマンティックな出力でマルチオブジェクト・トラッキングを拡張し、軌跡から動的シーンを人が解釈できる記述へ移行することを目指しています。既存のSMOTシステムはエンドツーエンドで学習されており、進捗が高コストな教師データに結び付くため、新しい基盤モデルや新しいインタラクションに対して迅速に適応する能力が制限されています。そこで本研究では、TF-SMOTという学習不要（training-free）のSMOTパイプラインを提案します。TF-SMOTは、検出、マスクベースのトラッキング、動画言語生成のための事前学習済みコンポーネントを組み合わせます。TF-SMOTは、D-FINEとプロンプト可能なSAM2セグメンテーション・トラッカーを組み合わせて時間的に一貫したトラックレットを生成し、輪郭に基づくグラウンディングによりInternVideo2.5で動画要約とインスタンスキャプションを生成します。さらに、抽出したインタラクション述語を、グロス（定義文）に基づくセマンティック検索とLLMによる曖昧性解消により、BenSMOT WordNetのsynset（同義語セット）へ整列させます。BenSMOTにおいて、TF-SMOTはSMOT設定下で最先端のトラッキング性能を達成し、先行研究と比べて要約とキャプションの品質も向上します。しかし、インタラクション認識は、きめ細かくかつ裾野の広いWordNetラベル空間に対する厳密な完全一致評価の下では依然として困難です。分析とアブレーションの結果から、セマンティックな重なりとラベルの粒度が、測定される性能に大きく影響することが示されています。