SceneScribe-1M：包括的な幾何学的・意味論的アノテーションを備えた大規模ビデオデータセット

要旨: 3D幾何学的知覚とビデオ合成の収束により、セマンティック情報と時空間情報の両方に富んだ大規模なビデオデータへの前例のない需要が生まれました。既存のデータセットは、3D理解またはビデオ生成のいずれかの分野を前進させてきましたが、両領域を大規模に支える統一的なリソースを提供する点では大きな隔たりが残っています。このギャップを埋めるために、我々は新たな大規模マルチモーダル・ビデオデータセットであるSceneScribe-1Mを導入します。これは、ありのままの環境（in-the-wild）から収集した100万本のビデオで構成され、各ビデオは、詳細なテキスト記述、正確なカメラパラメータ、密な深度マップ、そして一貫した3Dポイント追跡（トラック）によって、入念に注釈付けされています。SceneScribe-1Mの汎用性と価値を示すため、単眼深度推定、シーン再構成、動的ポイント追跡といった幅広い下流タスクにわたってベンチマークを確立します。また、カメラ制御の有無にかかわらず、テキストからビデオを生成するような生成タスクも対象とします。SceneScribe-1Mをオープンソース化することで、包括的なベンチマークと研究の触媒を提供し、動的な3D世界を知覚できるだけでなく、制御可能で現実的なビデオコンテンツを生成できるモデルの開発を促進することを目指します。