AutoSearch：強化学習によるエージェント型RAGの効率的探索のための適応的探索深度

要旨: エージェント型の検索拡張生成（RAG）システムは、大規模言語モデル（LLM）が外部の検索ツールとの多段階のやり取りを通じて複雑なタスクを解決できるようにします。しかし、このような多段階のやり取りでは、冗長な検索ステップが含まれることが多く、計算コストとレイテンシが大きくなります。従来の研究では、コストを抑えるために検索の深さ（すなわち、検索ステップ数）を制限してきましたが、これにより複雑な問いが十分に探索されないことがしばしばあります。そこで本研究では、まず検索の深さが精度にどのように影響するかを調べ、質問の複雑さとエージェントの能力によって共同で決まる、精度と効率のトレードオフを定義する最小で十分な検索の深さを見出します。さらに、自己生成した中間回答によって各検索ステップを評価する強化学習（RL）フレームワークであるAutoSearchを提案します。自己回答メカニズムにより、AutoSearchは最小で十分な検索の深さを特定し、それを達成したことに報酬を与えつつ過剰検索には罰を与えることで、効率的な検索を促進します。加えて、複雑な質問に対する検索挙動を安定化し、回答品質を向上させるための報酬メカニズムも導入します。複数のベンチマークに対する大規模な実験により、AutoSearchは優れた精度と効率のトレードオフを達成し、過剰検索を緩和しつつ検索品質を維持できることが示されています。