ドキュメントの“針”と“束”：LLMをジャッジとして用いる類似度スコアリングの感度テスト

要旨: 対応する文書比較における微妙な意味変化へのLLMの感度を、体系的に検証するための、スケーラブルで多因子の実験フレームワークを提案する。本研究ではこれを、針を藁の中に探す問題にたとえる。すなわち、意味論的に改変された1つの文（針）が、周辺の文脈（藁）の中に埋め込まれ、その上で摂動の種類（否定、結びの入れ替え、固有名詞の置換）と、文脈の種類（元の文脈 vs. トピック的に無関係な文脈）、針の位置、文書長を、すべての組み合わせにわたって変化させる。さらに、5種類のLLMを用いて、数万件の文書ペアに対するテストを行う。分析の結果、いくつかの注目すべき発見が得られた。第一に、LLMは、先行研究で検討されてきた候補の順序効果とは異なる、文書内における位置バイアスを示す。ほとんどのモデルは、意味の違いが文書のより早い箇所に現れる場合ほど、その違いをより厳しく罰する。第二に、改変された文がトピック的に無関係な文脈に囲まれると、類似度スコアが体系的に低下し、さらに二極化したスコアが生じる。これは、非常に低いまたは非常に高い類似度のいずれかを示すものである。これは、解釈フレームの説明と整合的であり、トピック的に関連した文脈が、モデルに文脈化を可能にし、その改変を下方に重み付けできる可能性がある。第三に、各LLMは、摂動の種類に不変な、質的に異なるスコア分布、安定した「フィンガープリント」を生成する。しかし同時に、すべてのモデルは、異なる摂動の種類をどれほど寛容に扱うかについて、普遍的な階層構造を共有している。これらの結果は、LLMの意味類似度スコアが、意味変化そのものを超えて、文書構造、文脈の首尾一貫性、そしてモデル固有の同一性に敏感であることを示している。加えて、提案するフレームワークは、現在および将来のモデルに対して、スコアリング挙動を監査し比較するための、実用的でLLMに依存しないツールキットを提供するものである。