MM-Doc-R1：長文書のビジュアル質問応答のためのマルチターン強化学習によるエージェント学習

要旨: 従来のRetrieval-Augmented Generation（RAG）システムは、長い文書に対する複雑なマルチホップのクエリにしばしば苦戦します。それは、単回の検索によってしまうためです。本研究では、反復的な情報発見と統合によって長文書の視覚質問応答を扱うために、エージェント型で視覚を考慮したワークフローを用いる新しい枠組みMM-Doc-R1を提案します。エージェントの情報探索能力を促すために、GRPOのような既存のマルチターン強化学習（RL）アルゴリズムにおけるベースライン推定バイアスに対処する、類似度に基づくポリシー最適化（Similarity-based Policy Optimization: SPO）を提案します。私たちの中核となる洞察は、マルチターンRLでは、2つの軌跡が意味的により類似しているほど、それらが共有するベースライン推定の精度が高まる、という点です。これを活用し、SPOは複数の軌跡にまたがる報酬を類似度で重み付けした平均によってより正確なベースラインを計算します。一方でGRPOは、最初の状態のベースラインをすべての中間状態に不適切に適用します。これにより、エージェントに対してより安定で正確な学習シグナルが得られ、その結果として、GRPOを上回る優れた学習性能につながります。MMLongbench-Docベンチマークでの実験では、MM-Doc-R1が既存のベースラインを10.4%上回りました。さらにSPOはGRPOよりも優れた性能を示し、Qwen3-8Bで5.0%、Qwen3-4Bで6.1%結果を押し上げています。これらの結果は、複雑で長文書の視覚質問応答に対して、統合された枠組みと新しい学習アルゴリズムが最先端を前進させるうえで有効であることを示しています。