モメンタム付き自然勾配降下法

要旨: 本稿では、微分可能なパラメータ化を許す非線形多様体の要素によって関数を近似する問題を考える。代表的な例としては、微分可能な活性化関数をもつニューラルネットワークやテンソルネットワークが挙げられる。損失関数の最適化に対する自然勾配降下法（NGD）は、パラメータ空間における更新が、機能的な視点に基づいて駆動される、前処理付きの勾配降下法として捉えることができる。ニュートン法と同様の精神において、NGDの1ステップでは、ヘッセ行列の代わりに、現在の反復点における近似多様体の接空間を生成する系のグラム行列を、適切な計量に関して用いる。これは、多様体への接空間への射影勾配に従って、関数空間における局所的に最適な更新に対応する。それでも、勾配降下法および自然勾配降下法のいずれも局所的な極小に行き詰まってしまう。さらに、モデルクラスが非線形多様体である場合、または損失関数が理想的に条件付けられていない場合（たとえば、密度推定におけるKLダイバージェンスや、物理インフォームド学習における偏微分方程式の残差のノルム）、各ステップごとに自然勾配であっても非最適な方向が与えられる可能性がある。本研究では、Heavy-Ball や Nesterov のような古典的な慣性動力学的手法に対する自然な拡張を導入し、それが非線形なモデルクラスを扱う際の学習プロセスをどのように改善し得るかを示す。