大規模言語モデルにおける潜在意味マニフォールド

arXiv cs.AI / 2026/3/25

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、LLMの隠れ状態を「潜在意味マニフォールド」（フィッシャー情報計量を備えたリーマン部分多様体）上の点として捉える幾何学的枠組みを提案し、離散的なトークンがそのマニフォールド上のボロノイ領域に対応することを示す。
「表現可能性ギャップ（expressibility gap）」を、連続的な内部表現を有限の語彙へ写像することで意味がどれだけ歪むかを幾何学的に測る指標として導入し、コアエ（coarea）公式を用いて、レート歪み下界および線形な体積スケーリング則を証明する。
124M〜1.5Bパラメータまでの6種類のトランスフォーマー・アーキテクチャにわたる実験により、普遍的な「ハイアーグラス（hourglass）」型の固有次元プロファイルと、整合的な曲率構造が検証されると報告されている。
本研究は、「表現可能性ギャップ」が語彙の離散化に対して線形にスケールすること（傾き0.87〜1.12、R^2 > 0.985）を見出し、さらに周辺境界に近い表現の中に持続的な「ハードコア（hard core）」が存在して、困惑度（perplexity）の分解に寄与することを特定する。
著者らは、アーキテクチャ設計、モデル圧縮、デコード戦略、ならびにLLMのより広範なスケーリング則に対する下流（downstream）の含意について議論する。

Abstract

大規模言語モデル（LLM）は、連続したベクトル空間内で内部計算を実行する一方、離散的なトークンを生成します――この根本的な不一致の幾何学的帰結は、いまだ十分に理解されていません。私たちは、LLMの隠れ状態を潜在的な意味マニフォールド上の点として解釈する数学的枠組みを開発します。そこでは、トークンはマニフォールドを分割するボロノイ領域に対応し、ファッシャー情報計量を備えたリーマン部分多様体となります。私たちは、語彙の離散化による意味の歪みを表す幾何学的尺度である「表現可能性ギャップ（expressibility gap）」を定義し、2つの定理を証明します。すなわち、任意の有限語彙に対する歪みに関するレート歪み下界と、コアエリア（coarea）公式を介した表現可能性ギャップの線形な体積スケーリング則です。私たちは、6つのトランスフォーマー・アーキテクチャ（124M〜1.5Bのパラメータ）にわたってこれらの予測を検証し、普遍的なロンググラス（hourglass）固有次元プロファイル、滑らかな曲率構造、そして傾き0.87〜1.12の線形ギャップスケーリング（R^2 > 0.985）を確認しました。モデル間でのマージン分布は、スケールに不変な、境界近傍表現の持続的なハードコアを明らかにし、パープレキシティの幾何学的分解を与えます。アーキテクチャ設計、モデル圧縮、デコーディング戦略、スケーリング則への影響について議論します