ビデオモデルは「真のマルチモーダル推論」にどれくらい近いのか？

要旨: 汎用的なビデオモデルに向けた目覚ましい進展にもかかわらず、未解決のまま残っている重要な問いがあります。それは、これらのモデルが「真のマルチモーダル推論」を達成するまでにどれほど遠いのか、という点です。既存のベンチマークは、この問いを厳密に扱えていません。なぜなら、それらは単純なタスク設計に制約されており、さらに複雑なマルチモーダル推論を無視する断片的な評価指標にとどまっているためです。このギャップを埋めるために、本研究では、Context Learning in Video Generation によってビデオモデルのゼロショット推論能力を探る評価枠組み CLVG-Bench を導入します。CLVG-Bench は、物理シミュレーション、論理推論、インタラクティブな状況などの複雑なシナリオを含む、6カテゴリおよび47サブカテゴリにまたがる、1,000件を超える高品質で手作業による注釈付きメタデータで構成されています。厳密かつスケーラブルな評価を可能にするため、さらに、人間の専門家の知覚と最小限の注釈で整合する Adaptive Video Evaluator（AVE）を提案します。これにより、多様なビデオ文脈タスクに対して、解釈可能なテキストによるフィードバックを提供できます。大規模な実験の結果、中心的な問いに対して驚くべき答えが得られました。すなわち、Seedance 2.0 のような最先端（SOTA）ビデオモデルは、理解や推論の一部の下位タスクでは一定の能力を示すものの、論理的に裏付けられた生成タスクやインタラクティブな生成タスクでは大きく劣っており、それぞれ成功率が <25% および ~0% です。これにより、マルチモーダル推論と物理的な根拠付けが重要なボトルネックであることが明らかになります。これらの制約を体系的に定量化することで、提案手法は実行可能なフィードバックと、真に頑健な汎用ビデオモデルへ向けた明確なロードマップを提供します。CLVG-Bench およびコードはここで公開します。