直交化なしの学習、SVDによる推論：回転表現の勾配解析
arXiv cs.LG / 2026/4/8
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、回転推定において学習中にSVDベースの直交化を適用すると勾配品質を損なう理由を分析し、直交化を推論に遅らせることで従来の実験結果が改善することを示します。
- SO(3) の3×3回転行列へのSVD射影に対する、SVDバックワードパスのジャコビアンについて、その厳密なスペクトルを導出します。そこでは、ランク3のジャコビアンで、非ゼロの特異値が 2/(s_i+s_j) となり、条件数は κ=(s1+s2)/(s2+s3) です。
- 分析により、勾配の歪みは、予測行列が SO(3 から遠いほど、特に学習序盤では s3≈0 となるため最悪になることが示されます。
- 安定化したSVD勾配であっても方向誤差が生じることを示し、訓練ループからSVDを取り除くことでこれらの問題を根本的に回避できると論じます。
- さらに著者らは、6Dのグラム-シュミット（Gram-Schmidt）パラメータ化との比較として、そのジャコビアンが非対称なスペクトルを持つことを証明し、パラメータに対して不等な勾配信号が与えられることを明らかにして、9D回帰に対する理論的裏付けを提供します。
