Find, Fix, Reason：ビデオ推論のためのコンテキスト修復

Abstract

強化学習は、大規模マルチモーダルモデルにおける動画推論を大きく前進させてきました。しかし主流のパイプラインには、(1) モデルの知識の境界で頭打ちになるオンポリシーの自己探索に依存するもの、または (2) 複数のポリシーを混ぜ合わせるハイブリッドリプレイを行い、注意深い正則化を要するもの、のいずれかが多く見られます。動的コンテキスト手法は、焦点を当てた証拠にズームすることに長けていますが、しばしば厳選された事前学習や二段階のチューニングを必要とし、さらにそのコンテキストは小型モデルの能力によって上限が決まってしまいます。これに対して、より大きなモデルは指示追従とマルチモーダル理解に優れており、小型モデルに対してより豊かなコンテキストを供給できます。また、シンプルなツールによって目標領域へ素早くズームインできます。この能力を土台として、我々は観測レベルの介入を導入します。凍結された、ツール統合済みの教師が、欠けている時空間的な依存関係を特定し、質問が変わらないまま、元の動画から最小限の証拠パッチ（例：タイムスタンプ、領域など）を提示します。学生は追加されたコンテキストで再び回答し、Group Relative Policy Optimization（GRPO）に統合された選択ロールアウト方式により学習を更新します。さらに、最適化を2つの目標に整合させるRobust Improvement Reward（RIR）も提案します。すなわち、正しい回答による結果の妥当性と、引用された証拠を反映する論理による依存関係の整合です。提案手法の利点は、バッチ全体でグループ正規化を行うことで、オンポリシー探索を維持しつつ、学習スタックへの最小限の変更で、因果的に意味のある方向へと探索を導ける点にあります。関連するさまざまなベンチマークでの実験では、一貫した精度向上と強い汎化性能が示されています。Webページおよびソースコードは https://github.com/JethroJames/FFR.git で公開します。