Align then Train: 効率的なリトリーバル・アダプタ学習

Abstract

緻密な検索（Dense retrieval）システムは、複雑なクエリを扱う必要性がますます高まっています。多くの現実的な状況において、ユーザは長い指示やタスク固有の説明を通じて意図を表現します。一方で、対象となる文書は比較的単純で静的です。この非対称性は検索の不一致を生みます。クエリを理解するには強い推論や指示追従が必要である一方、効率的な文書のインデクシングには軽量なエンコーダが有利だからです。既存の検索システムは、この不一致を埋めるために埋め込みモデル自体を直接改善することで対処することが多いですが、大規模な埋め込みモデルをそのような指示により適切に追従できるように微調整することは、計算コストが高く、メモリ集約的で、運用上の負担も大きいです。これに対処するために、本研究では Efficient Retrieval Adapter（ERA）を提案します。ERAはラベル効率の高い枠組みであり、検索アダプタを2段階で学習します：自己教師ありアライメントと教師あり適応です。LLMの事前学習と教師あり微調整の段階に着想を得て、ERAはまず、大規模なクエリエンベッダと軽量な文書エンベッダの埋め込み空間を整合させ、次に限られたラベル付きデータを用いてクエリ側の表現を適応させます。これにより、コーパスの再インデクシングを行わずに、埋め込みモデル間の表現ギャップと、複雑なクエリと単純な文書の間にある意味ギャップの両方を橋渡しします。MAIRベンチマークに関する実験では、6つの領域にわたる126の検索タスクを対象に、ERAが低ラベル設定で検索性能を向上させ、大量のラベル付きデータに依存する手法を上回り、領域間においてより強力なクエリエンベッダとより弱い文書エンベッダを効果的に組み合わせることを示しています。