予算制約下のエージェント型LLM検索における設計判断の精度とコストへの影響の定量化

要約: エージェント型検索強化生成（RAG）システムは反復的な検索、計画プロンプト、検索バックエンドを組み合わせるが、実運用環境ではツール呼び出しや完了トークンに明確な予算が課される。我々は、固定された制約下で検索深度、検索戦略、完了予算が精度とコストにどのように影響するかの制御された計測研究を提示する。Budget-Constrained Agentic Search（BCAS）を用いたモデル非依存評価基盤は残予算を表示し、ツール使用を制御しながら、6つのLLMと3つの質問応答ベンチマークで比較実験を行った。モデルとデータセット全体で、少数の上限まで検索を増やすと精度が向上し、軽量再ランキングを伴う語彙検索と密検索のハイブリッドが我々の切除グリッドで最大の平均的改善をもたらし、HotpotQA風の統合タスクではより大きな完了予算が特に有効であった。これらの成果は予算制約付きエージェント型検索パイプラインの設定に対する実用的な指針を提供し、再現可能なプロンプトや評価設定と共に提供される。