大規模言語モデルにおける特徴空間のセマンティック構造

Abstract

私たちは、大規模言語モデルの隠れ状態における意味特徴間の幾何学的関係が、人間の心理的連想を非常に密に反映していることを示します。私たちは360語に対応する特徴ベクトルを構築し、それらを32の意味的軸（例：beautiful-ugly（美しい-醜い）、soft-hard（柔らかい-硬い）など）に射影し、これらの射影が、それぞれの意味スケール上でのその語に対する人間の評価と高い相関を示すことを見いだします。次に、調査においてこれらのスケール間の相関関係を、意味的軸同士の余弦類似度が非常に高い精度で予測できることを見いだします。第三に、32の意味的軸にまたがる顕著なばらつきが低次元の部分空間に位置しており、人間に典型的な意味的連想のパターンを再現することを示します。最後に、ある語を1つの意味的軸で操作すると、その意味的軸と他の意味的軸との余弦類似度に比例して、モデルがその語を他の意味的スケールで評価する値にも波及効果（スピルオーバー）が生じることを実証します。これらの結果は、特徴を孤立して理解するだけでなく、それらが形成する幾何学的関係や意味のある部分空間を通して理解すべきであることを示唆しています。