g{s}/s^)$の収束率を証明する。さらに、近似FIMに対するほとんど確実な収束率も確立する。近似FIMは、輸送に基づく誤差を蓄積するようになる。記憶容量の複雑度が二次未満となる、リミテッドメモリ版のアルゴリズムも提案する。最後に、ガウス近似と正規化フローを用いた変分ベイズにおいて、ユークリッド版の手法に対する本手法の有効性を示す。
リーマン多様体上の反転なし自然勾配降下法
arXiv stat.ML / 2026/4/6
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文では、リーマン多様体上でパラメータが定義される確率分布に特化した、反転（inversion）なしの確率的自然勾配降下法を提案する。通常のユークリッド空間の仮定を回避している。
- 多様体の内在的な方法でフィッシャー情報を定式化し、連続するスコア（score）サンプルを用いてフィッシャー情報行列の逆行列のオンライン近似を維持する。更新には、異なる接空間間の輸送（transport）を取り込む二次コストのステップを用いる。
- 本手法は、多様体構造を活用することで、正定値性や直交性といった制約を暗黙的に満たし、同定可能性（identifiability）や測地線凸性（geodesic convexity）といった望ましい性質を支える。
- 著者らは、最適化（および近似フィッシャー情報）に対するほぼ確実（almost-sure）な収束率の保証を提示している。ステップサイズ指数に関する条件や、輸送に起因する誤差項も含まれる。
- さらに、メモリ制限付きのバリアントも提案し、ガウス近似を用いた変分ベイズや正規化フローなどのタスクにおいて、ユークリッド基準法よりも有効性が向上することを実験的に示している。
