VISTA：ビデオ相互作用の時空間解析ベンチマーク

要旨: 視覚言語モデル（VLM）に対する既存のベンチマークは主に、単純な単一アクションの動画における時空間理解、閉じた属性集合、限定されたエンティティ種別を評価する。しかし、現実世界の動画理解を特徴づける、多様なエンティティ間の自由形式で複数アクションにまたがる相互作用を捉えられていない。さらに、相補的な時空間の軸にわたってモデルの失敗を分析するための体系的な枠組みが欠けているため、包括的な評価が妨げられている。これらのギャップに対処するために、本論文ではVISTAを提案する。VISTAは、VLMにおけるオープンセット・多エンティティ・複数アクションの時空間理解のための、ビデオ相互作用時空間分析ベンチマークである。VISTAは動画を、解釈可能なエンティティ、その関連するアクション、そして関係（リレーショナル）ダイナミクスに分解し、関係・空間・時間の理解に関する多軸の診断と統一的な評価を可能にする。本ベンチマークは複数のデータセットを単一の相互作用を意識した分類体系（タクソノミー）へ統合し、さまざまなシーンと複雑さにまたがる約12Kの厳選された動画—クエリ対から構成される。我々はVISTA上で11の最先端VLMを体系的に評価し、タクソノミーに基づく集計性能を分解することで、従来の指標では見えにくい欠点や顕著な時空間バイアスを明らかにする。難易度の高いデータセットに対して、詳細なタクソノミー駆動の診断を提供することで、VISTAはモデル設計、事前学習戦略、評価プロトコルの前進を導くための、よりきめ細かな枠組みを提供する。総じてVISTAは、VLMにおける時空間理解に関する初めての、大規模な相互作用を意識した診断ベンチマークである。