静的・動的グラフ整合ネットワークによる時系列ビデオ内グラウディング

要旨: 時間的ビデオグラウンディング（TVG）は、与えられた自然言語のクエリに意味的に対応する、トリミングされていない映像内の時間的なモーメントを特定（ローカライズ）することを目的とする。近年、グラフ畳み込みネットワーク（GCN）が、ビデオクリップ間の時間的関係をモデル化し、クリップレベルのグラフを構築することで文脈推論を強化するため、TVGで広く採用されている。とはいえ、既存のGCNベースのTVG手法には3つの重要なボトルネックがある。1) 多くの手法は、グラフのノードを静的特徴または動的特徴のいずれかのみで構築してしまい、視覚表現が不完全になり、補完的なセマンティクスを見落とす。2) 多くの手法は、時間グラフをクエリ非依存の方法で構築するため、時間グラフ表現内での特徴の相互作用が非効率になる。3) 多くの手法は単一粒度のセマンティック対応に悩まされがちであり、複雑な時間的ローカライズタスクを直接学習すると、収束が遅くなり、精度が最適でない可能性がある。これらの課題に対処するため、静的および動的グラフアラインメントネットワーク（SDGAN）を提案する。まず、SDGANは静的および動的な視覚特徴を共同で活用して、2つの補完的な時間グラフを構築し、Position-wise Nodes Alignmentを実行することで、より表現力があり頑健な視覚表現を実現する。次に、SDGANは、クエリ・クリップ対照学習と適応的グラフモデリングを導入し、視覚クリップを対応するテキストクエリへ明示的に整合させることで、クエリに応じた視覚表現を得る。さらに、SDGANは、プログレッシブなイージー・トゥ・ハード学習戦略の中で多粒度の時間提案を取り込み、粗い粒度のセマンティックなローカライズと、細かい粒度の時間境界の精緻化を効果的に橋渡しする。3つのベンチマークデータセットでの大規模な実験により、SDGANが複雑なTVGシナリオ全体で優れた性能を達成することを示す。コードとデータセットは https://github.com/ZhanJieHu/SDGAN で入手可能である。