3D空間における可視クエリ位置特定（Visual Query Localization）に向けて

要旨: 視覚クエリ局在化（VQL）は、クエリが与えられたときに、ある系列における直近の出現に対する時空間的な応答を予測することを目指します。現在、研究の多くは2D動画における視覚クエリ局在化に取り組んでいますが、その3D空間における対応はほとんど注目されていません。本論文では、新しいベンチマーク「3DVQL」を導入することで、3D世界における視覚クエリ局在化に対処する最初の試みを行います。具体的に、3DVQLには38のオブジェクトカテゴリからなる約170,000フレームを含む2,002の系列と、6.4Kの応答トラック・セグメントが含まれています。3DVQLの各系列は、柔軟な研究を支えるために、点群、RGB画像、深度画像を含む複数のモダリティによって提供されます。高品質なアノテーションを保証するために、各系列は複数ラウンドの検証と改良によって手作業でアノテーションされています。私たちの知る限り、3DVQLは3Dマルチモーダル視覚クエリ局在化のための最初のベンチマークです。後続の研究における比較を容易にするため、点群とRGB画像を用いた一連の代表的な3DマルチモーダルVQLベースラインを実装します。実験結果は、既存手法が異なる融合モジュール間で大きく性能が変動することを示しています。今後の研究を促すために、LaFというリフト・アンド・アテンション融合アルゴリズムを提案し、既存のベースラインモデルを大幅に上回る性能を示します。私たちのベンチマークとモデルはhttps://github.com/wuhengliangliang/3DVQL で公開予定です。