CAR：クエリ誘導による信頼度（Confidence）を意識した再ランキング手法

要旨: Retrieval-Augmented Generation（RAG）は、有用な生成のための根拠を提供するために文書のランキングに依存しますが、従来の再ランキング手法は主にクエリと文書の関連性を最適化しており、生成の有用性そのものは最適化していません。関連する文書であってもノイズを持ち込む可能性があります。一方で、より低い順位の文書の方が、生成器の不確実性をよりうまく低減できる場合があります。そこで本研究では、CAR（Confidence-Aware Reranking：確信度を考慮した再ランキング）を提案します。CARは、クエリに導かれた学習不要でプラグアンドプレイな再ランキングの枠組みであり、文書の有用性のシグナルとして、生成器の確信度（confidence）の変化を用います。CARは、クエリのみの条件およびクエリ—文書の条件の下で、複数サンプルされた回答の意味的整合性を通じて確信度を推定します。確信度を大きく増加させる文書は昇格し、確信度を低下させる文書は降格されます。不確かなケースではベースラインの順序を維持しつつ、クエリレベルのゲートにより、すでに十分に確信しているクエリに対する不要な介入を避けます。4つのBEIRデータセットに対する実験により、CARは、疎および密なリトリーバ、LLMベースおよび教師ありの再ランカ、および4つのLLMバックボーンにわたって、NDCG@5を一貫して改善することが示されています。特に、ContrieverのリトリーバにおいてCARはYesNo再ランカを平均で25.4パーセント改善し、ランキングの獲得は、下流の生成におけるF1の改善と強く相関し、Spearmanのrho = 0.964を達成しています。