大規模言語モデルの隠れ状態におけるカテゴリー知覚：桁数境界における構造的ワーピング
arXiv cs.CL / 2026/3/31
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、アラビア数字を処理する際に、大規模言語モデルの隠れ状態においてカテゴリー知覚の一種が観測され、桁数境界（特に10や100への遷移）で幾何学的な「構造的ワーピング」が生じることを見出した。
- 5つの異なるアーキテクチャ系統に属する6つのモデルにおいて、CP-additive表現幾何モデルは、100%の主要層（テスト対象の主要層）で、純粋に連続的なモデルよりも適合が良く、当該効果がLLM内部表現の中で頑健であることを示している。
- 境界に特化したワーピングは、境界でない制御位置では観測されず、また温度領域でも見られない。温度領域では、「hot/cold」といった言語カテゴリに対するトークン化上の不連続性が存在しない。
- 報告されているシグネチャは2種類ある。「classic CP」モデルは内部にカテゴリ差異を取り込み、ワーピングも示す。一方で「structural CP」モデルは、カテゴリ差異を明示的に報告できないにもかかわらず、境界でのワーピングを示す。
- 著者らは、構造的な入力フォーマットの不連続性だけで、明示的な意味カテゴリ知識とは独立に、LLMにカテゴリー知覚に類似した幾何学的性質を誘起でき、さらに境界やアーキテクチャ系統を越えて安定していると結論づけている。
