要旨: 複数の観測に対する時間平均は、2次統計推定のためには、単一の観測に対する代数的群作用で置き換えられることを証明する。一般置換定理は、ある1つのスナップショットから得た群平均推定量が、複数スナップショットの共分散推定と同等の部分空間分解を達成する条件を与え、最適性定理は、対称群が普遍的に最適であること（KL変換を得ること）を証明する。この枠組みは、DFT、DCT、KLTを、群に整合したスペクトル変換の特殊例として統一し、群選択の多項式時間での最適選択のための閉形式の二重交換子の固有値問題を提供する。5つの応用を示す: 単一スナップショットからのMUSIC DOA推定、64%のスループット向上を伴う大規模MIMOのチャネル推定、90%の精度での単パルス波形分類、非可換群によるグラフ信号処理、そしてトランスフォーマーLLMに対する新しい代数的解析により、RoPEが5つのモデルにわたる70〜80%の注意ヘッドで誤った代数的群を用いていること（22,480ヘッドの観測）、最適な群はコンテンツに依存すること、ならびにスペクトル集中に基づくプルーニングが13Bスケールでパープレキシティを改善することを明らかにする。すべての診断は、勾配や学習なしで単一のフォワードパスのみを必要とする。
代数的多様性：単一観測からの群論的スペクトル推定
arXiv cs.LG / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、「一般置換定理（General Replacement Theorem）」を提示し、複数の観測にわたる時間平均を、2次推定（共分散・サブスペース推定）については、単一観測に代数的な群作用を適用することで置き換えられることを示す。
- 「最適性定理（Optimality Theorem）」を証明し、対称群が普遍的に最適であることを明らかにする。これにより、提案枠組みの中でKL変換を復元でき、さらに最適な群を選択するための多項式時間の手法として、閉形式の二重交換子（double-commutator）固有値問題を与える。
- 本枠組みはDFT、DCT、KLTを、群に整合したスペクトル変換として統一的に捉え、古典的なスペクトル変換の背後にあるメカニズムとして「群の選択」を位置づける。
- 複数スナップショット処理を回避する複数の応用を示す。具体例として、単一スナップショットMUSICによるDOA推定、報告されている64%のスループット向上を伴う大規模MIMOのチャネル推定、精度90%での単一パルス波形分類が挙げられる。
- さらに、トランスフォーマーのLLMを対象とした分析も提示している。5つのモデルにおける70〜80%の注意ヘッドで、RoPEが「誤った代数的群」を用いていると報告し、内容依存の群選択に加えて、スペクトル集中に基づくプルーニングを行うことで、学習や勾配なしで13Bスケールにおけるパープレキシティを改善できるとしている。
