多言語言語モデルは言語構造よりも文字体系（スクリプト）を符号化する

Abstract

多言語言語モデル（LM）は、類型論的および正書法的に多様な言語の表象を、共通のパラメータ空間へと整理するが、その内部の組織化のあり方は依然として不明である。本研究では、多言語表象を形作る要因が、抽象的な言語同一性なのか、それとも表層形の手がかりなのか、どちらにあるのかを調べる。表象上のトレードオフが明示的な、小型で蒸留されたモデルに焦点を当て、Language Activation Probability Entropy（LAPE）という指標を用いてLlama-3.2-1BおよびGemma-2-2Bにおける言語関連ユニットを分析し、さらにスパース自己符号化器（Sparse Autoencoders）によって活性を分解する。その結果、これらのユニットは正書法に強く条件づけられていることがわかる。すなわち、ローマ字化は、母語の文字体系への入力とも英語とも整合しない、ほぼ切り離された表象を誘発する一方で、語順のシャッフルはユニットの同一性に与える影響が限定的である。探索（probing）によると、類型論的構造はより深い層でますますアクセス可能になることが示される。また、因果的介入（causal interventions）では、生成が、表層形の摂動に対して不変なユニットに対して最も敏感であり、類型論的整合だけで同定されるユニットに対してではないことが示唆される。全体として、本研究の結果は、多言語LMが表層形を中心に表象を組織化しており、言語的抽象化は統一的な中間言語（interlingua）へと崩壊することなく、段階的に現れてくることを示している。