SubSearch：複雑な検索における教師なしガイド付き推論のための中間報酬

Abstract

大規模言語モデル（LLM）は確率的な性質を持ち、外部情報で補強するとより信頼性高く動作します。複雑なクエリは、取得した情報に対して多段階の推論を必要とすることが多く、明確な、あるいはあらかじめ定められた推論経路がないため、依然として困難です。近年の手法では、モデルの出力結果に対する強化学習でモデルを訓練し、複雑な情報の扱いを改善する可能性が示されています。私たちは、出力結果のみに基づく監督から、中間の報酬信号へと切り替える専門フレームワークであるSubSearchを提案します。これにより、高品質な推論の計画を促す中間報酬によってモデルを動機づけます。プロセス報酬モデリングに関する従来研究では、いずれも人間のアノテータまたは大規模LLMの判定者によるアノテーション付き軌跡を用いて、別個の報酬モデルを訓練することに焦点が当てられていました。一方でSubSearchは、固有のプロセス報酬により生成器を直接最適化します。この固有のプロセス報酬は、内部から導出される報酬として定義され、外部の監督を必要とせず、情報集約型推論の自律化へと近づきます。7つのベンチマークにおける実験では、中間の推論ステップに固有報酬を与えることで、アウトカム報酬のみの場合よりも、QAおよびマルチホップQAデータセットの両方で、より頑健な推論トレースが得られることが示されました。SubSearchは、複雑なクエリに対する応答でエンジンをより適切に統合できる推論トレースの構築に役立つとともに、教師ありのプロセス・モデリングに代わるデータ効率の高い手法を提供します。