スパースオートエンコーダを用いた検索モデルの学習

概要: スパースオートエンコーダ（SAEs）は、Large Language Models（LLMs）が生成する密な表現を、解釈可能な潜在特徴へ分解する強力な機構を提供します。私たちは、SAEsが Learned Sparse Retrieval（LSR）の自然な基盤を成すと考えます。LSR の目的は、クエリと文書を効率的な検索のために最適化された高次元のスパース表現へ符号化することです。入力系列を語彙空間へ射影する既存のLSRアプローチとは対照的に、SAEベースの表現は、より意味的に構造化され、表現力が高く、言語に依存しない特徴を生み出す可能性を提供します。この洞察に基づき、SAEベースのLSRモデルを訓練する手法SPLAREを紹介します。我々の実験は、最近公開されたオープンソースSAEsに依拠しており、この手法が多言語設定およびドメイン外設定で語彙ベースのLSRを一貫して上回ることを示しています。SPLARE-7Bは、幅広い言語とドメインに対して一般化可能なスパース潜在埋め込みを生成できる多言語検索モデルであり、MMTEBの多言語および英語検索タスクで上位の結果を達成します。さらに、はるかに軽量なフットプリントを持つ2Bパラメータのバリアントも開発しました。