視覚言語モデルは連続的な運転シーンをどれほど理解しているのか？感度分析

Abstract

自動運転タスクに対して、視覚言語モデル（VLMs）がますます提案されている一方で、連続（逐次）運転シーンにおける性能はいまだ十分に特徴づけられておらず、特に入力の構成がモデルの能力にどのように影響するかについては不明確です。私たちは、VENUSS（VLM Evaluation oN Understanding Sequential Scenes）を導入します。これは、連続運転シーンにおけるVLM性能の系統的な感度分析のための枠組みであり、将来の研究のためのベースラインを確立します。既存のデータセットに基づき、VENUSSは運転動画から時間的な系列を抽出し、カスタムのカテゴリにわたって構造化された評価を生成します。2,600件以上のシナリオで25以上の既存VLMを比較することで、最上位モデルでさえ同様の制約下では人間の性能（65%）に達せず、精度は57%にとどまること、そして大きな能力ギャップが明らかになることを示します。分析の結果、VLMは静的な物体検出では得意である一方で、車両のダイナミクスや時間的関係の理解では苦手であることが分かりました。VENUSSは、入力画像の構成――解像度、フレーム数、時間間隔、空間レイアウト、提示モード――が連続運転シーンにおける性能にどう影響するかに焦点を当てた、VLMに対する最初の系統的な感度分析を提供します。補足資料は https://V3NU55.github.io で入手可能です