概要: 分類のためにニューラルネットワークを学習するとき、訓練セットの特徴ベクトルは、特徴空間の次元 d とクラス数 n が n\leq d+1 を満たすならば、正則単体の頂点へと崩壊することが知られています。 この現象はニューラル・コラプス（neural collapse）として知られています。言語モデルのような他の応用では、通常は n\gg d を取ります。 ここでは、ニューラル・コラプスの現象は依然として起こりますが、異なる創発的な幾何学的図形を伴って現れます。 私たちは、d+2\leq n\leq 2d を満たす直交多面体（orthoplex）領域において、これらの幾何学的図形を特徴づけます。 分析における手法は主としてラドンの定理と凸性を用います。
直交多面体レジームにおけるニューラル・コラプス
arXiv cs.LG / 2026/3/24
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、分類学習における「ニューラル・コラプス」を研究している。ここでは、クラス数が特徴空間の次元 d に対して n ≤ d+1 を満たすとき、特徴ベクトルが正則単体（regular simplex）の頂点へ収束する。
- この分析を、n ≫ d となる言語モデルのような設定へ拡張し、ニューラル・コラプスはなお起こり得るが、極限における幾何学が単体から新たに創発する構造へと変化することを示している。
- 著者らは、とくにクラス数が d+2 ≤ n ≤ 2d を満たす「直交多面体レジーム（orthoplex regime）」において、創発する幾何学的な図形を特徴づける。
- 数学的アプローチは主にラドンの定理（Radon’s theorem）と凸性に依拠し、崩壊（コラプス）した特徴の幾何学を導出し記述する。
