大規模言語モデルの潜在意味空間におけるボロノイ分割の幾何学的性質

要旨: 言語モデルは離散的なトークン上で動作しますが、計算は連続的なベクトル空間で行われるため、表現マニフォールド上にボロノイ分割が生じます。我々はQwen3.5-4B-Baseに対して、この分割を経験的に調査し、2つの貢献を行います。第一に、bfloat16の量子化アーティファクトを解消するためにfloat32でマージン再計算を用いることで、Mabrokの(2026)「表現可能性ギャップ」の線形スケーリング則をR^2 = 0.9997で検証します。これは現時点で最も強い確認であり、さらに、最終層で整合へと結晶化する前の、層間の幾何学的な曖昧性（アンビギュイティ）領域を特定します（マージン幾何が交差エントロピーと逆相関：層24-28、 ho = -0.29）。その後、最終層で整合が形成され、相関は ho = 0.836となります。
第二に、収束したモデルのボロノイ分割は、マージン洗練手続き（MRP）によって再形状化可能であることを示します。これは、再学習を伴わずにトークンの判断マージンを広げる短い事後最適化（post-hoc optimization）です。我々は、用意された用法での直接的なマージン最大化と、ファッシャー情報距離最大化（Fisher information distance maximization）を、用量反応（dose-response）スイープにわたって比較します。両手法は、評価した256Kに対して、約16,300の「修正可能な位置（correctable positions）」という同じ天井を見出しますが、致命的な損害（collateral damage）の面で重要な違いがあります。マージン最大化による損害は介入の強度とともに増大し、補正が圧倒されるまでエスカレートします。一方、ファッシャー損害は検証済みレンジ（lambda = 0.15-0.6）にわたり、約5,300位置でほぼ一定に保たれます。さらに、lambda = 0.6で中央値のマージン改善が+28%となり、下流ベンチマークは不変のままです。これは、表現可能性ギャップを圧縮しつつ、そのスケーリング則を維持する幾何学的再編成（geometric reorganization）です。しかし、頻度およびトークン分類監査（frequency and token-class audits）からは、この獲得が高頻度の構造トークンに集中していることが示されます（lambda = 0.6での正味の修正の84%）。一方で、内容（content）や実体（entity）的寄与は、lambdaが高くなるほど縮小します。したがって、ファッシャーMRPは実行可能な幾何学的な仕上げ（polishing）ツールであり、その実用的な天井は、総損害によってではなく、トークン単位の利益の一様性によって決まります。