知識なしの推論を蒸留する: 信頼性の高いLLMsのためのフレームワーク

要旨: 大規模言語モデル（LLMs）を用いた事実探索型の質問応答は、回答が最新の情報や矛盾する情報に依存する場合、依然として信頼性が低い。リトリーバルを補助したりツールを使用するLLMsは幻覚を抑制するが、しばしば暗黙的な計画に頼り、その結果ツールの使用が非効率になる。計画を事実検索および回答の統合から明示的に分離するモジュラーフレームワークを提案する。軽量な生徒プランナーは、教師-生徒フレームワークを介して訓練され、抽象推論手順と検索可能な事実リクエストからなる構造化された分解を生成します。教師信号には、計画の痕跡と事実リクエストのみが含まれ、事実回答や取得済みの証拠は提供されません。推論時には、プランナーが計画を作成し、プロンプト設計されたモジュールが検索と回答の統合を実行します。提案されたフレームワークを、検索補強型LLMsの極めて難易度の高いベンチマークであるSEAL-0で評価します。結果は、監督付き計画がモノリシックな推論モデルやプロンプトベースのツール補助フレームワークと比較して、正確性とレイテンシの双方を向上させることを示しており、明示的に学習された計画構造が信頼性の高い事実探索型LLMsには不可欠であることを示しています。