PAVE：前提に配慮した検証と編集による検索拡張LLMのための手法

Abstract

リトリーバル拡張型言語モデルは関連する証拠を取得できますが、取得した文脈が結論を支持しているかどうかを明示的に確認する前に、依然として回答を確約してしまうことがあります。私たちは、証拠に基づく質問応答のための推論時検証レイヤであるPAVE（Premise-Grounded Answer Validation and Editing）を提示します。PAVEは、取得した文脈を質問条件付きの原子的事実に分解し、回答案を下書きし、その下書きが抽出された前提によってどれほどよく支持されているかをスコアリングし、最終化の前に支持の低い出力を修正します。その結果得られるトレースにより、明示的な前提、支持スコア、修正の判断というレベルで、回答の確約を監査可能にします。固定したリトリーバとバックボーンによる制御されたアブレーション実験では、PAVEは2つの証拠に基づくQA設定において、より単純なポストリトリーバルのベースラインを上回ります。最大の改善は、スパンに基づくベンチマークで32.7の精度ポイントに達しました。これらの結果は、明示的な前提抽出に加えて、支持にゲートされた修正を行うことで、リトリーバル拡張型LLMシステムにおける証拠に基づく整合性を強化できるという、概念実証の証拠であると私たちは考えています。