DR-MMSearchAgent：マルチモーダル検索エージェントにおける推論の深化

要旨: エージェント型マルチモーダルモデルは、外部ツールを活用して複雑なタスクに取り組める能力により、大きな注目を集めている。しかし、そのようなエージェントはしばしば、主に2つの理由によって早期の対話崩壊に陥ることが観察される: 1) 終端報酬がしばしば最後のトークンに付与されるため、探索的な振る舞いを含む軌跡とそうでない軌跡とを、優位性が識別できない; 2) 過度に冗長な文脈が、エージェントが有用なフィードバックを吸収することを妨げる。これらの問題に対処するため、構造的な近接性を利用して、バッチ全体におけるロールアウト軌跡全体から優位性シグナルを導出する枠組みであるDeepening Reasoning MMSearchAgentを提案する。これにより、同じ正解を含んでいても、異なる長さの軌跡がさらに生成されることが促される。加えて、異なるガウス報酬を用いて対話許容度を動的に調整し、それにより情報の信頼性を確保し、冗長性を低減する。多ターンの対話学習を支えるため、少なくとも3つの推論ステップを含む3602件の高品質QAペアから成る、多段階のディープ推論データセットを構築した。大規模な広範な実験の結果、我々の手法は最先端の性能を達成しており、FVQA-testにおいてMMSearch-R1を8.4\%上回ることが示された。