題目:運転用VLMの信頼性を検証する：一貫性のない応答から、時間的に根拠づけられた推論へ

要旨:信頼できる運転支援アシスタントは、観測された情報に基づく時間的に根拠づけられた推論によって、一貫した応答を提供するべきである。本研究では、Vision-Language Models（VLM）を運転アシスタントとして適用した場合に、将来の結果が現在の観測によってどのように形作られるのかを理解し、応答を一貫して生成できるのか、それとも時間的に根拠づけられた推論をせず、学習中に記憶されたパターンを反映するだけなのかを調査する。自動運転にVLMを統合する最近の取り組みはあるものの、先行研究では通常、シーン理解や指示生成が主に強調され、強い視覚的解釈が自然に一貫した将来推論を可能にし、その結果として信頼できる意思決定が保証される、という暗黙の仮定が置かれている。この主張を我々は批判的に検討する。本設定においてVLMの信頼性を制限する主要な課題は2つに焦点を当てる。1つ目は応答の不整合であり、小さな入力の擾乱が異なる答えを生む、あるいは場合によっては応答がほぼランダムな推測へと退化してしまう。2つ目は時間的推論の不足であり、モデルが推論を行って現在の観測から順次的な出来事を整合させることに失敗し、その結果として誤った、あるいは相互に矛盾する応答が生じることが多い。さらに、強い視覚理解を持つモデルが、時間的推論を必要とするタスクで必ずしも最良の性能を示すわけではないことを見出し、時間的ダイナミクスをモデル化するよりも、事前学習されたパターンに過度に依存する傾向があることが示唆される。これらの問題に対処するため、既存の評価手法を採用し、将来シーンの推論を評価するために特化して設計された、人手による注釈付きベンチマークデータセットであるFutureVQAを導入する。加えて、時間ラベルを必要とせず、Chain-of-Thought推論を用いたシンプルだが効果的な自己教師ありのチューニング手法を提案し、両方の側面、すなわち一貫性と時間的推論の改善を実現する。

ブックマーク

書誌および引用ツール

この記事に関連付けられたコード、データ、メディア

デモ

レコメンダーと検索ツール