質問応答のためのRAG性能予測

Abstract

本稿では、質問応答においてRAG（retrieval augmented generation：検索拡張生成）を用いることによる利得を、用いない場合と比較して予測するという課題に取り組みます。私たちは、もともとアドホック検索のために考案されたいくつかの、検索前および検索後の予測器の性能を調査します。さらに、いくつかの生成後予測器も調査します。そのうちの一つは本研究で新しく、最も高い予測品質を提示します。実験結果は、最も効果的な予測アプローチが、質問、検索された文書（パッセージ）、生成された回答の間の意味的関係を明示的にモデル化する新しい教師あり予測器であることを示しています。