GiVA：勾配に基づくベクトル型適応のための初期化手法

arXiv cs.CL / 2026/4/24

📰 ニュースModels & Research

共有:

要点

この論文は、ベクトル型のパラメータ効率の高い微調整（fine-tuning）向けに勾配情報を活用した初期化戦略「GiVA」を提案しています。
ベクトル型適応の主要な弱点である「従来はLoRAに近い性能を得るためにより高いランクが必要になりがち」という課題を解決することが狙いです。
GiVAは、LoRAと同程度の学習時間を実現しつつ、ベクトル型手法の持つ極めて高いパラメータ効率を維持するとされています。
NLU、NLG、画像分類の各種ベンチマークで評価した結果、GiVAは既存のベクトル型適応手法に対して一貫して優れるか、少なくとも競争力のある性能を示したと報告されています。
必要なランクを約8分の1（8×）に削減できるため、高ランク設定に伴う学習コストの低減につながるとしています。

要旨: モデルサイズが引き続き増大する中で、パラメータ効率の高いファインチューニング（parameter-efficient fine-tuning）が、フルファインチューニングの強力な代替として登場してきました。これらの手法の中ではLoRAが広く採用されていますが、近年の研究では、その極めて高いパラメータ効率により、ベクトルベースの適応（vector-based adaptation）手法が検討されています。しかし、これらの手法は通常、LoRAの性能に匹敵するために、LoRAよりも実質的に高いランク（rank）を必要とします。その結果、学習コストが増大します。本研究では、ベクトルベースの適応のための勾配ベース初期化戦略であるGiVAを提案します。GiVAはLoRAと同等の学習時間を達成し、ベクトルベース適応の持つ極めて高いパラメータ効率を維持します。自然言語理解、自然言語生成、画像分類を含む多様なベンチマークにわたってGiVAを評価します。実験の結果、提案手法は既存のベクトルベース適応手法およびLoRAに対して、一貫してより優れた性能、または競争力のある性能を示しつつ、必要ランクを8分の1（ $8\times$ ）に削減できることが分かりました。