「類似ではない」：多ホップ検索のためのコーパス固有の関連性を学習する

arXiv cs.CL / 2026/4/24

💬 オピニオンDeveloper Stack & InfrastructureTools & Practical UsageModels & Research

共有:

要点

本論文は、埋め込みの類似度だけに頼らず、コーパスに固有な「関連性」を学習して候補を再ランキングする Association-Augmented Retrieval（AAR）を提案している。
AARは、共起アノテーションに基づくコントラスト学習で学習した4.2Mパラメータ規模のMLPを用い、推論時にパッセージ間の双方向の関連スコアリングで並べ替える。
HotpotQAではAARが passage Recall@5 を0.831から0.916へ（+8.6ポイント）向上し、評価セットのチューニングなしで効果が出ており、特にdenseベースラインが失敗する難問で最大+28.5ポイントの伸びが見られる。
MuSiQueでも転導（transductive）設定で+10.1ポイントの改善が得られ、さらに誘導（inductive）では有意な向上が見られないことから、学習した関連性は移植可能というよりコーパス固有の共起を捉えていることが示唆される。
手法は軽量で現実的であり、クエリあたり約3.7msの追加、単一GPUで2分未満の学習、LLMベースのインデキシング不要であるうえ、検索改善が下流QAでexact matchを+6.4改善することも示されている。

Abstract

緻密検索システムは、クエリへの埋め込み類似度に基づいてパッセージを順位付けしますが、多段（multi-hop）質問では、共有された推論チェーンによって連想的に関連づけられたパッセージが必要になります。そこで本研究では、Association-Augmented Retrieval（AAR）を提案します。これは軽量なトランスダクティブ再ランキング手法であり、共起アノテーションに対するコントラスト学習を用いて、埋め込み空間上でパッセージ間の連想関係を学習する小型MLP（4.2Mパラメータ）を学習します。推論時には、AARが双方向の連想スコアリングによって、最初の緻密検索の候補集合を再ランキングします。HotpotQAでは、AARは評価セットのチューニングなしで、パッセージRecall@5を0.831から0.916へ改善（+8.6ポイント）し、その改善は緻密ベースラインが失敗する難問に集中しています（+28.5ポイント）。MuSiQueでは、AARはトランスダクティブ設定で+10.1ポイントを達成します。学習分割の連想で学習し、未見の検証連想で評価した帰納モデルでは、有意な改善が見られず、この手法が転移可能なパターンというよりはコーパス固有の共起を捉えていることを示唆します。アブレーション研究はこの解釈を支持します。すなわち、「意味的に類似しているが連想されていない」パッセージ対で学習するとベースラインを下回って検索が劣化し、一方で「連想ペア」をシャッフルすると深刻な劣化が生じます。下流のQA評価では、検索の改善が+6.4の完全一致（exact match）改善として反映されることが示されます。この手法はクエリあたり3.7msの追加コストで、単一GPUで2分未満の学習が可能で、LLMベースのインデックス作成は不要です。