スペクトル・ワッサースタイン流としてのミューオン・ダイナミクス

概要: 勾配正規化は深層学習の最適化において中核です。学習を安定化し、スケールへの感度を下げるからです。深いアーキテクチャでは、パラメータは自然に行列やブロックへとグループ化されるため、座標ごとのユークリッド正規化よりも、スペクトル正規化のほうがより忠実であることが多くなります。本論文の主な動機付けとなる例が Muon です。より広く言えば、本研究では、通常の勾配降下法から Muon、そして中間の Schatten 型のスキームに至るまでのスペクトル正規化規則の族を、パラメータを確率測度でモデル化する平均場の枠組みのもとで扱います。正定値半定値行列上のあるノルム gamma によって添字付けられた、スペクトル・ワッサースタイン距離の族を導入します。トレースノルムは古典的な二次ワッサースタイン距離を回復し、作用素ノルムは Muon の幾何を回復し、中間の Schatten ノルムはその間を補間します。静的なカントロビッチの定式化を開発し、W2 との比較評価を証明し、最大最小の表現を導出し、条件付きの Brenier 定理を得ます。ガウス分布の場合、この問題は共分散行列に関する制約付き最適化へと帰着し、Bures の公式を拡張するとともに、Schatten ファミリーにおける可換な共分散に対して閉形式を与えます。単調ノルム（すべての Schatten の場合を含む）については、静的定式化と動的 Benamou-Brenier 定式化の同値性を証明し、得られる輸送コストが固定次元において W2 と同値な真のメトリックであることを導き、さらに誘導されるガウスの共分散コストもメトリックであることを示します。次に、関連する正規化連続の方程式をスペクトル・ワッサースタインの勾配流として解釈し、その有限粒子に対する厳密な対応物を、正規化された行列フローとして特定します。さらに最初の測地線凸性の結果を得て、正に同次な平均場モデルが球面上でスペクトルのアンバランストランスポートをどのように誘導するかを示します。