埋め込みに意味を見いだす：コンセプト分離カーブ

Abstract

文埋め込み（sentence embedding）の手法は、文の意味における主要な概念をベクトル空間に符号化することを目的としています。しかし、文埋め込みの品質を評価するための大多数のアプローチは、追加の分類器や下流タスクの使用に依存しています。これらの追加要素によって、良い結果が埋め込みそのものに起因するのか、それとも分類器の挙動に起因するのかが不明瞭になります。本論文では、文レベルの概念を捉える上での文埋め込み手法の有効性を評価するための新規の手法を提案します。我々のアプローチは分類器に依存しないため、モデルの性能を客観的に評価できます。本研究で採用する手法は、構文ノイズと意味上の否定を文に体系的に導入し、その結果得られる埋め込みに対するそれらの相対的な影響を定量化することを含みます。これらの影響の可視化は、Concept Separation Curves（概念分離曲線）によって促進されます。この曲線は、モデルが概念レベルの変化と表層レベルの変化をどの程度区別できるかを示します。複数の領域のデータを用い、オランダ語と英語の両言語を扱い、さらに文長を検討することで、本研究は、Concept Separation Curves が文埋め込みの概念的安定性を評価するための、解釈可能で再現可能な、かつモデル横断的なアプローチであることを説得力をもって示します。