ミューオンの収束解析について

arXiv stat.ML / 2026/4/15

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、ニューラルネットワークのパラメータを平坦化されたベクトルとして扱うのではなく、行列構造を持つパラメータ向けに設計されたオプティマイザであるMuonの理解における重要なギャップを扱っています。
Muonの収束率に関する包括的な解析を提示し、標準的な勾配降下法（GD）と比較します。
著者らは、トレーニング中に理論的にMuonがGDを上回ると期待される条件を導出します。
解析により、Muonはヘッセ行列の低ランク構造から優位性を得ることが示唆されます。著者らは、これは実際のニューラルネットワーク最適化でよく見られると述べています。
実験により、収束と性能向上に関する理論的主張が支持され、裏付けられます。

Abstract

ニューラルネットワークにおけるパラメータの大部分は、自然に行列として表現されます。しかしながら、一般に広く用いられている最適化手法の多くは、最適化の際にこれらの行列パラメータをフラット化されたベクトルとして扱うため、パラメータが本来持つ構造的性質を見落としてしまう可能性があります。近年、Muonという最適化手法が提案されました。これは、行列構造をもつパラメータを最適化することに特化して設計されています。大規模な実証的証拠により、Muonはニューラルネットワークの学習において従来の最適化手法を大幅に上回り得ることが示されています。それでもなお、Muonの収束挙動に関する理論的理解や、その優れた性能の理由は、いまだ限定的です。本研究では、Muonの包括的な収束率解析を行い、それを勾配降下法（GD）と比較します。さらに、MuonがGDを上回り得る条件を特徴付けます。理論結果は、Muonがヘシアン行列の低ランク構造の恩恵を受けられることを示しており、この現象は実際のニューラルネットワーク学習で広く観察されています。加えて、本研究の実験結果は、理論的な知見を支持し、裏付けるものとなっています。