LLMのための新しいハイブリッド微調整パラダイム：アルゴリズム設計と収束解析フレームワーク

要旨: 大規模言語モデル（LLM）の微調整は通常、すべてのモデルパラメータを更新するフル・ファインチューニング、または少数のパラメータだけを調整するパラメータ効率の高い微調整（PEFT）のいずれかを行うことで実施されます。しかし、どちらのアプローチにも本質的な制約があります。フル・ファインチューニングは計算コストが高く、一方でPEFTは新しい知識を学習するのが難しく、性能が最適でないことが多いのです。これらの問題を克服するために、ゼロ次および一次の最適化手法の組み合わせによって、LLMとPEFTモジュールの両方を同時に更新する、新しいハイブリッド微調整手法を提案します。新しいアルゴリズムを解析するために、共同のLLMおよびPEFT学習における最適化ランドスケープの異種性を考慮する「ハイブリッド平滑性条件」の概念を中心とした理論的枠組みを構築します。さらに、複数の学習率のもとでのリシッフル型SGDアルゴリズムの収束について、厳密な収束解析を導出し、さまざまな下流タスクおよびモデルアーキテクチャにわたる大規模な実験的検証によってその有効性を示します。実運用面では、我々の結果は一貫した性能向上を示しており、このアプローチは大規模言語モデルの微調整に対する実行可能な解決策となります。