アノテータが一致しないとき、トポロジーが語る：テキスト埋め込みの幾何と曖昧性を探るトポロジカルツール「Mapper」

要旨: 言語モデルはしばしば、精度のようなスカラー指標で評価されますが、そのような測度は、特に人間の注釈者が意見を異にする場合に、モデルが内部で曖昧さをどのように表現しているかを捉えることに失敗します。本研究では、微調整されたモデルが曖昧さ、より一般には事例をどのように符号化するかを分析するための、位相的な観点を提案します。
MD-Offense データセット上の RoBERTa-Large に適用したところ、トポロジカル・データ解析のためのツールである Mapper により、微調整が埋め込み空間を、モデルの予測に整合したモジュール状で非凸な領域へと再構成することが明らかになりました。これは、高度に曖昧なケースに対しても成り立ちます。連結成分の 98\% 超が
\geq 90\% の予測純度を示す一方で、曖昧なデータでは正解ラベルとの整合が低下し、構造的な確信とラベル上の不確実性との間に潜在する緊張関係が浮かび上がります。
PCA や UMAP のような従来のツールとは異なり、Mapper はこの幾何構造を直接捉え、意思決定領域、境界の崩壊、そして過度に確信したクラスタを明らかにします。本研究の結果は、モデルがどのように曖昧さを解消するかを理解するための強力な診断ツールとして Mapper を位置づけるものです。可視化にとどまらず、主観的な NLP タスクにおいて、先回りしたモデリング戦略に資する可能性のある位相的指標も可能にします。