EgoEsportsQA：エスポーツにおける知覚と推論のためのエゴセントリック・ビデオベンチマーク

概要: 動画の大規模言語モデル（Video-LLM）は、ゆっくりしたペースの現実世界の一人称視点動画の理解に優れていますが、高速で情報量の多い仮想環境における能力は十分に調査されていません。既存のベンチマークは日常的な活動に焦点を当てていますが、仮想シーンにおける高速でルールに縛られた推論を評価するための厳密なテストベッドが欠けています。このギャップを埋めるために、私たちは、専門的なeスポーツ知識に基づいて知覚と推論を根拠づける、先駆的な動画質問応答（QA）ベンチマーク「EgoEsportsQA」を導入します。スケーラブルな6段階のパイプラインを通じて、3つの一人称シューティングゲームにまたがるプロの試合から、1,745件の高品質なQAペアを収集しました。これらの質問は、2次元のデカップル（独立）したタクソノミーに構造化されています。認知能力の次元では11のサブタスク（知覚と推論のレベルを含む）、eスポーツ知識の次元では6つのサブタスクです。最先端のVideo-LLMに対する包括的な評価により、現在のモデルはいずれも満足できる性能を達成できていないことが明らかになり、最良のモデルでも71.58%にとどまります。この結果は両軸にまたがる顕著な不足を示しています。モデルは、深い戦術的推論よりも基礎的な視覚知覚でより強い能力を示し、全体的なマクロ進行は微細なマイクロ操作よりもよく把握できています。大規模なアブレーション実験により、現在のVideo-LLMアーキテクチャに内在する弱点が示されます。さらに分析すると、私たちのデータセットは、現実世界と仮想の一人称領域の間にあるつながりを明らかにするだけでなく、下流のeスポーツ応用を最適化するための指針も提供し、それによって多様な一人称環境におけるVideo-LLMの今後の発展を促進することがわかります。