Anon：最適化手法の適応性を実運用スペクトル全体へ外挿する
arXiv cs.AI / 2026/5/5
📰 ニュースDeveloper Stack & InfrastructureModels & Research
要点
- 本論文は、Adamのような適応的オプティマイザとSGDのような非適応的手法の間にある汎化性能のギャップが、前処理（プレコンディショナー）における適応性の設計が多様な最適化地形への対応力を制限することに起因し得ると述べています。
- Anon（Adaptivity Non-restricted Optimizer with Novel convergence technique）を提案し、適応性を連続的に調整できることで、SGDライクとAdamライクの挙動を内挿し、さらにその外側にも外挿できるとしています。
- 適応性スペクトル全体で収束性を保つために、Incremental Delay Update（IDU）を導入し、AMSGradのハードな最大値追跡よりも柔軟で、勾配ノイズへの頑健性が高いと主張しています。
- 凸・非凸の両設定で理論的な収束保証を示し、画像分類、拡散モデル、言語モデリングのタスクで既存の最先端オプティマイザより一貫して優れるという実験結果を報告しています。
- 全体として、適応性は調整可能な設計原理として価値があり、古典的手法と現代的手法の最適化挙動をつなぐ統一的かつ信頼性の高い枠組みを提供すると論じています。
