ResRank：残差パッセージ圧縮によるエンドツーエンド共同学習でリトリーバルとリストワイズ再ランキングを統合
arXiv cs.AI / 2026/4/27
💬 オピニオンDeveloper Stack & InfrastructureModels & Research
要点
- ResRankは、LLMベースのリストワイズ再ランキングが抱える「ロスト・イン・ザ・ミドル」や、長文投入に伴う推論レイテンシの超線形増大といったボトルネックを解消するための、検索＋再ランキングを統合したエンドツーエンド枠組みです。
- 各候補パッセージを1つの埋め込み表現に圧縮するためにEncoder-LLMを用い、その表現をクエリとともにReranker-LLMへ渡してリストワイズでランキングします。
- 圧縮埋め込み空間とランキング空間のミスマッチを緩和するため、エンコーダ埋め込みと再ランキング側のコンテキスト化された隠れ状態を組み合わせる残差接続構造が導入されています。
- 自己回帰的な生成を行わず、ワンステップのコサイン類似度ベースのスコアリングで処理することで、生成ボトルネックを完全に取り除き、生成トークンは不要かつパッセージ当たり1トークンのみを処理します。
- TREC Deep Learningおよび8つのBEIRベンチマークでの実験により、ResRankは既存手法と同等以上の有効性を示しつつ、効果と効率のバランスを大きく改善できることが報告されています。
