EVA：エンドツーエンド動画エージェントのための効率的強化学習

Abstract

マルチモーダル大規模言語モデル（MLLMs）による動画理解は、動画のトークン列が長いことにより、時間的な依存関係が広範に存在し、冗長なフレームも含まれるため、依然として困難です。既存のアプローチは一般に、MLLMを受動的な認識器として扱い、適応的な推論を行わずに、動画全体または一様にサンプリングしたフレームを処理するだけです。近年のエージェントベースの手法では外部ツールが導入されていますが、それでも手作業で設計されたワークフローや、知覚を先に行う方針に依存しているため、長い動画に対して非効率です。私たちは、効率的強化学習フレームワークであるEVA（End-to-End Video AgentのためのEfficient Reinforcement Learning）を提案します。EVAは、反復的な要約-計画-行動-省察の推論によって「知覚の前に計画する」ことを可能にします。EVAは自律的に、何を見るべきか、いつ見るべきか、どのように見るべきかを決定し、クエリ駆動で効率的な動画理解を実現します。このようなエージェントを訓練するために、教師あり模倣と強化学習を橋渡しする、シンプルながら効果的な3段階の学習パイプラインを設計します。すなわち、教師ありファインチューニング（SFT）、Kahneman-Tversky最適化（KTO）、一般化報酬方策最適化（GRPO）から構成されます。さらに、各段階のために高品質なデータセットを構築し、安定かつ再現可能な訓練を支えます。私たちは6つの動画理解ベンチマークにおいてEVAを評価し、その包括的な能力を示します。既存のベースラインと比べて、EVAは汎用MLLMベースラインに対して6〜12%の大幅な改善を達成し、さらに先行する適応型エージェント手法に対して1〜3%の上乗せ改善を示します。コードとモデルは https://github.com/wangruohui/EfficientVideoAgent で公開しています。