V-tableR1：批評家主導の方策最適化によるプロセス教師ありマルチモーダル表推論

要旨: 本稿では、V-tableR1 を提案する。これはプロセス監督型の強化学習フレームワークであり、多モーダル大規模言語モデル（MLLM）から厳密で検証可能な推論を引き出す。現在の MLLM は、最終的な結果のみで訓練されていることが多いため、視覚推論をブラックボックスとして扱いがちであり、厳密な多段階推論を行うよりも、表面的なパターン照合に依存してしまう。検証可能な報酬による強化学習を用いれば透明な推論軌跡を強制できるが、それを視覚領域へ拡張することは、抽象的な論理を連続的なピクセル空間へ基礎づけることの曖昧さによって、依然として大きく阻まれている。本研究では、この問題を、表が持つ決定論的なグリッド構造を理想的な視覚テストベッドとして活用することで解決する。V-tableR1 は、特殊な批評者 VLM を用いて、ポリシー VLM が生成する明示的な視覚的な chain-of-thought（思考の連鎖）に対し、密なステップ単位のフィードバックを提供する。このシステムを最適化するために、プロセス報酬、分離されたポリシー制約、長さを考慮した動的サンプリングを統合した新しい RL アルゴリズムである Process-Guided Direct Alignment Policy Optimization（PGPO）を提案する。大規模な評価により、V-tableR1 が視覚的な幻覚やショートカット的な当て推量を明確に罰することを示す。ブラックボックス的なパターン照合から、検証可能な論理的導出へと本質的に多モーダル推論を転換することで、V-tableR1 は 4B において、複雑な表形式ベンチマーク上でオープンソース・モデルの最先端精度を達成し、そのサイズに対して最大 18 倍までのモデルを上回り、SFT の基準モデルよりも改善する。