エゴセントリック・ビデオ理解モデルにおける時間的認識を促す手法

Abstract

マルチモーダル大規模言語モデル（MLLMs）は視覚理解において近年強い性能を示している一方で、特に出来事の正しい順序と推移に基づく推論が必要となるエゴセントリック（自己視点）設定では、しばしば時間的な認識に欠けています。この不足は一部、時間的推論を明示的に報いる訓練目的が欠落しており、その代わりにフレーム単位の空間的ショートカットに依存してしまっていることに起因します。この制限に対処するために、本論文では、強化学習で検証可能な報酬（RLVR）を用いたアルゴリズムである Temporal Global Policy Optimization（TGPO）を提案します。TGPOは、時間的に順序付けられた動画フレームとシャッフルされた動画フレームから生成されたモデル出力を対比することで、時間的に首尾一貫した推論を明示的に好むよう設計された、較正済みかつグローバルに正規化された報酬信号を導出します。TGPOはGRPOおよびGSPOと統合されることで、コールドスタートの強化学習（RL）による訓練を支援し、既存のMLLMsが学習してしまった空間的ショートカット行動を効果的に抑制します。5つのエゴセントリック動画ベンチマークにまたがる実験により、TGPOが時間的なグラウンディングと因果的な首尾一貫性を一貫して改善し、先行するRLベースの動画推論手法を上回ることが示されます。これらの結果は、TGPOがエゴセントリックな動画理解に向けた、時間的に頑健なMLLMを実現するためのシンプルでスケーラブルな道筋を提供することを示唆しています。