マルチモーダル推論のための視覚誘導型ポリシー最適化

要旨: 検証可能な報酬による強化学習（RLVR）は、視覚言語モデル（VLMs）の推論能力を大きく前進させてきました。しかし、VLMは本質的にテキスト優位であるため、視覚トークンへの注意の活性化が乏しいことによって特徴づけられる、視覚的な忠実性の不足がしばしば生じます。さらに重要なのは、経験的分析により、推論ステップに沿った時間的な視覚の忘却がこの欠陥を悪化させることが明らかになった点です。そこで、このギャップを埋めるために、方策最適化中に視覚的な焦点を強化するための新しい枠組みであるVisually-Guided Policy Optimization（VGPO）を提案します。具体的には、VGPOはまず、視覚の類似性を活用して視覚的手がかりを位置特定し増幅するVisual Attention Compensation（視覚注意補償）メカニズムを導入し、同時に後半のステップで視覚的な期待値を段階的に高めることで、視覚の忘却に対抗します。このメカニズムに基づき、デュアルグレインドのアドバンテージ再重み付け戦略を実装します。すなわち、軌跡内（intra-trajectory）レベルでは相対的に高い視覚活性を示すトークンを強調し、軌跡間（inter-trajectory）レベルでは視覚的な蓄積がより優れていることを示す軌跡を優先します。大規模な実験により、VGPOはより良い視覚活性と、数学的なマルチモーダル推論および視覚依存型タスクにおける優れた性能を達成することが示されています。