部分的に関連するビデオ検索のための、知識で洗練されたデュアル文脈対応ネットワーク

要旨: トリムされていない動画から部分的に関連するセグメントを取得することは、2つの持続的な課題により依然として困難です。すなわち、テキストと動画セグメント間における情報密度の不一致、そしてセマンティックな焦点やイベント間の相関を見落としてしまう限定的な注意機構です。私たちは、これらの問題に対してテキストおよびビジュアルの両面から取り組む、Knowledge-Refined Dual Context-Aware NetworkであるKDC-Netを提案します。テキスト側では、階層的セマンティック集約モジュールがマルチスケールのフレーズ手がかりを捉え、適応的に融合することで、クエリの意味を強化します。動画側では、動的時間注意機構が相対位置エンコーディングと適応的な時間窓を用いて、局所的な時間的整合性を保ちながら重要なイベントを強調します。さらに、時間的連続性を考慮した洗練（refinement）で強化した、動的CLIPベースの蒸留戦略により、セグメントに応じた、かつ目的に整合した知識転移が保証されます。PRVRベンチマークでの実験では、KDC-Netが最先端手法を一貫して上回ることが示され、特に「低いモーメント対動画比」の条件下で顕著です。