APEX-Searcher: エージェント的な計画と実行を通じてLLMsの検索能力を強化する

要約: 検索強化生成（RAG）は、大規模言語モデル（LLMs）に基づく、さまざまな領域の応用において外部知識を取得・活用するための重要なアプローチとして機能します。複雑なマルチホップの質問に直面すると、単回の検索だけでは正確な推論と問題解決に不十分であることが多いです。複雑なタスクの検索能力を高めるために、既存の多くの研究は、エンドツーエンド訓練を介して推論プロセスと多回の反復検索を統合します。これらのアプローチは問題解決能力を大幅に向上させる一方で、タスク推論とモデル訓練には依然として課題が残っており、特にあいまいな検索実行経路とエンドツーエンド強化学習（RL）プロセスにおける報酬の希薄さが、誤った検索結果と性能低下を招く原因となります。これらの問題に対処するため、本論文では、LLMの検索能力を拡張する新しいエージェント型計画と実行（Agentic Planning and Execution）フレームワークであるAPEX-Searcherを提案します。具体的には、検索プロセスを計画と実行に分離する2段階のエージェント型フレームワークを導入します: 最初に、分解特化の報酬を用いた強化学習（RL）を用いて戦略的計画を最適化します。サブタスク分解を前提として、高品質なマルチホップの軌跡に対して教師あり微調整を適用し、モデルに堅牢な反復的サブタスク実行能力を備えさせます。広範な実験により、提案されたフレームワークが複数のベンチマークにおいて、マルチホップRAGとタスク計画の両方の性能を大幅に向上させることを示しています。