回答する前に見る：視覚的に根拠づけられたポストトレーニングからの学習

要旨: 視覚言語モデル（VLM）が、視覚・時間的・テキスト上の手がかりを包括的に理解することは極めて重要である。しかし、多模態モデリングの分野では急速な進歩があったにもかかわらず、動画理解の性能は依然としてテキストベースの推論に後れを取っている。本研究では、この遅れがこれまで想定されていたよりもさらに深刻であることを見出した。一般に広く報告されている長尺動画理解のベンチマークには、テキスト上の手がかりだけで回答できる質問が40〜60%含まれている。さらに、これらの問題は広く用いられているポストトレーニング用データセットにも同様に広く存在しており、ポストトレーニングによってVLMの動画理解性能を向上させる能力を損なっている可能性がある。この観察に導かれ、我々はシンプルでありながら効果的な解決策としてVidGroundを提案する。ポストトレーニング時に、言語的なバイアスを一切加えず、実際に視覚に基づく（grounded）質問のみを用いるのである。RLベースのポストトレーニング手法と組み合わせると、この単純な手法は、完全なデータセットを用いる場合と比べて最大6.2ポイント向上し、同時に元のポストトレーニングデータの69.1%だけで済む。加えて、単純なポストトレーニングアルゴリズムによるデータキュレーションが、いくつかのより複雑なポストトレーニング手法を上回ることを示し、VLMにおける動画理解の改善に向けたボトルネックがデータ品質であることを強調する。これらの結果は、より能力の高いVLMの開発を前進させるために、真に視覚に基づく理解を必要とするポストトレーニングデータと評価ベンチマークを慎重にキュレーションすることの重要性を裏付けている。プロジェクトページ: http://vidground.etuagi.com。