AdaMeZO：モーメントを保持しないLLM微調整向けAdamスタイルのゼロ次最適化

要旨: LLMの微調整はさまざまな専用の下流タスクに必要ですが、古典的なバックプロパゲーションに基づく微調整手法は大量のGPUメモリを必要とします。そこで、順伝播のみを用いてLLMを微調整する最近の手法であるMeZOは、損失地形に無頓着であることによる収束の遅さと引き換えに、GPU要件を大幅に削減します。Adamのような標準的な解法は、1次および2次のモーメントを推定してそれらをメモリに保存し、曲率が低い次元へ（その逆の場合も同様に）モデルを導くことで損失地形を探索します。しかし、Adamをそのまま適用すると、メモリ要件が3倍になるためMeZOの利点が相殺されてしまいます。これを踏まえ、本研究では、メモリ上でモーメントを維持することなく、Adamスタイルの1次および2次モーメント推定を活用する、ゼロ次（zeroth-order）の最適化手法AdaMeZOを提案します。AdaMeZOに関する理論的解析を提示し、さらに広範な実験によってその妥当性を裏付けます。実験結果は、AdaMeZOがMeZOを上回り得ること、また最大で順伝播回数を70\%まで削減し得ることを示しています。軌跡の可視化により、AdaMeZOが多様な損失地形に適応できることが確認されます。