計算効率の高いクエリ側セマンティック符号化のためのカーネル・アフィン・ハル・マシン

抽象: トランスフォーマーに基づく意味検索は非常に効果的だが、多くの導入では主なコストがコーパスの索引付けではなく、オンラインのクエリ符号化にある。本研究では、固定教師（fixed-teacher）のクエリ適応問題を扱い、反復的なニューラル推論を、意思決定にとって重要な検索品質を劣化させることなく、軽量で解析的に明示可能な推定器で置き換えられるかどうかを問う。提案手法は、カーネル・アフィン・ハル・マシン（Kernel Affine Hull Machines: KAHMs）である。これは、厳密に定義されたRKHSにおいてプロトタイプ混合の重みを推定し、正規化された最小平均二乗（least-mean-squares）でプロトタイプを洗練することで、安価な語彙特徴を凍結した意味埋め込み空間へ写像する。さらに、この方法により、符号化誤差を事後近似（posterior-approximation）、汎化（generalization）、教師ノイズ（teacher-noise）という構成要素へ透明に分解できるようにする。制御されたオーストリア法ベンチマーク（5,000クエリ；84法；10,762ユニット）において、KAHMは、対応する学習済みアダプタの中で教師空間に対する再構成が最も強く（MSE 0.000091、R^2 0.9071、コサイン 0.9536）、また順位に敏感な指標を一貫して改善する。具体的には、20における平均逆順位（MRR@20、上位20件の中で最初の関連結果の逆順位の平均）、Hit率@20（Hit@20、上位20件の中に少なくとも1つ関連結果があるクエリの割合）、およびTop-1精度（正しい項目が1位にランクされるクエリの割合）で、それぞれスコアは0.504、0.694、0.411である。加えて、KAHMは直接のトランスフォーマー符号化に比べて、クエリごとのレイテンシを8.5倍低減する。これらの結果は、固定教師の設定では、軽量な幾何学的推定器がオンラインのニューラル符号化の代替として機能し、検索性能を保ちつつ、効率と解釈可能性を大幅に向上できることを示している。