セマンティック・シフト：テキスト埋め込みと検索における根本的な課題

Abstract

トランスフォーマーに基づく埋め込みモデルは、可変長のテキストを単一のベクトルへ写像するためにプーリングに依存している。これにより効率的な類似検索が可能になる一方で、異方性や長さによる埋め込みの崩壊といった、よく知られた幾何学的病理も誘発する。既存の説明では、これらの病理が emph{どのように} 見えるかは概ね述べられているが、emph{いつ}、emph{なぜ} それが下流の検索に害を及ぼすのかについての洞察は限られている。本研究では、欠けている因果的要因は emph{意味のシフト（semantic shift）} である、という主張を行う。すなわち、テキスト内部における意味の本質的で構造化された変化と分散である。 まず、トランスフォーマー埋め込みにおける emph{意味のスムージング（semantic smoothing）} について、理論的な分析を提示する。構成文間で意味の多様性が増加すると、プールされた表現は必然的に、各個々の文の埋め込みから離れた位置へとシフトする。その結果、スムーズで、弁別力の低いベクトルが得られる。これを土台として、意味のシフトを、局所的な意味の変化と大域的な意味の分散を統合する、計算可能な指標として定式化する。さらに、複数のコーパスと複数の埋め込みモデルにわたる制御された実験を通じて、意味のシフトが埋め込みの集中度の深刻さと強く整合し、検索の劣化を予測する一方で、テキスト長だけではそれができないことを示す。結論として、意味のシフトは、埋め込み崩壊を理解するための統一的かつ実行可能な視点を与えるとともに、異方性が有害になるのはいつかを診断するための指標となる。