要旨: 拮抗語（antonyms）、すなわち反意語（opposites）は、
\emph{すべての文脈的に関連する性質を同じくしつつ、ただ1つだけ異なる語のペア}として定義されることがある。変換器モデルが概念を方向として符号化しているように見えることから、語ペアの埋め込みベクトルの幾何、特にそれらの差分ベクトルに基づいて、「反意性（antonymity）」を検出できるのかという疑問が生じる。この種の幾何学的研究は、拮抗語のペアを、その反対の関係にある対（反対語）や同義語（synonyms）と比較することで、自然に対比される。
本論文は当初、反意語の語ペアの埋め込みベクトルの幾何を検出するために必要となる、システムの複雑さに関する探索的なプロジェクトとして始まった。ここで私たちが報告するのは、やや特定の射影構成において、埋め込みモデル全体にわたって現れる、不思議な「渦（swirl）」である。
反意語および同義語の語ペア埋め込みの差ベクトルのUMAP射影における幾何学の視覚的観察
arXiv cs.CL / 2026/3/26
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、語ペア埋め込み間の差ベクトルの幾何学から「反意性」が検出可能かどうかを調べる。これは、トランスフォーマーモデルが埋め込み空間内で概念を方向として符号化し得るという考えに動機づけられている。
- 反意語ペアと同義語ペアを対比させ、それらの埋め込み差ベクトルが次元削減のもとでどのように異なる形で射影されるかを検討する。
- 可視化手法としてUMAP射影を用い、著者らは、特定の射影構成において複数の埋め込みモデルにわたって一貫して視覚的に目立つ「渦巻き（swirl）」パターンが現れることを報告する。
- 本研究は、埋め込み空間における反意語検出のために幾何学的構造を検出するのに必要なシステムの複雑さという観点から、探索的研究としてその貢献を位置づけている。
