頑健なテスト時ビデオ-テキスト検索：ベンチマーク化とクエリシフトへの適応

要旨: 現代のビデオ-テキスト検索（VTR）モデルは、分布内ベンチマークで優れた性能を発揮しますが、現実世界のクエリシフトに対して非常に脆弱です。ここでいうクエリシフトとは、クエリデータの分布が学習ドメインから逸脱することで発生し、その結果として性能が急激に低下する現象です。既存の画像に焦点を当てた頑健性（ロバストネス）解決策は、これらのシフトに固有に存在する複雑な時空間ダイナミクスに対処できないため、ビデオにおけるこの脆弱性を扱うには不十分です。この脆弱性を体系的に評価するために、まず、5つの重症度（severity）段階にわたって12種類の異なるビデオ摂動を含む包括的なベンチマークを導入します。このベンチマークに関する分析から、クエリシフトはハブネス現象を増幅することが明らかになります。ハブネス現象とは、ギャラリー中のわずかなアイテムが支配的な「ハブ」として振る舞い、多数のクエリを不釣り合いに引き寄せる現象です。これを軽減するために、続いて、HAT-VTR（Hubness Alleviation for Test-time Video-Text Retrieval）を提案します。これは、VTRにおけるハブネスを直接抑制することを目的とした、我々の基盤となるテスト時適応フレームワークです。HAT-VTRは、2つの主要な構成要素を活用します。すなわち、類似度スコアを洗練するためのハブネス抑制メモリ（Hubness Suppression Memory）と、時間的特徴の整合性を強制するマルチグラニュラー損失です。大規模な実験により、HAT-VTRが頑健性を大幅に改善することが示されており、さまざまなクエリシフトの状況において一貫して従来手法を上回ります。また、現実世界のアプリケーションに向けてモデルの信頼性も高めます。