遅延相互作用型検索におけるスパイクハイジャック

Abstract

後期相互作用（late-interaction）型の検索モデルは、トークンレベルの類似度を集約するために、ハードな最大類似度（MaxSim）に依存しています。効果はあるものの、この winner-take-all（勝者総取り）型のプーリング規則は、学習ダイナミクスを構造的にバイアスしてしまう可能性があります。本稿では、MaxSim に基づく検索における勾配ルーティングと頑健性について、機械論的な研究を提示します。バッチ内コントラスト学習を行う制御された合成環境において、MaxSim は、Top-k プーリングや softmax 集約のようなより滑らかな代替手法と比べて、パッチレベルの勾配集中を有意に高めることを示します。疎なルーティングは初期の識別性を改善し得る一方で、文書長への感度も高めます。すなわち、文書のパッチ数が増えるにつれて、MaxSim は、穏やかな平滑化（smoothing）系の変種よりも急激に劣化します。これらの知見は、実世界のマルチベクトル検索ベンチマークでも裏付けられており、文書長を制御したスイープにより、ハードな max プーリング下で同様の脆さ（brittleness）が観察されます。以上より、本研究は、後期相互作用型検索におけるプーリング由来の勾配集中を構造的性質として切り分け、スパース性と頑健性のトレードオフを明確にします。これらの結果は、マルチベクトル検索システムにおいてハード max プーリングに代わる、原理に基づいた代替手法を動機づけるものです。