BoostLoRA：アダプタをブーストして有効ランクを伸ばす

Abstract

パラメータ効率の高い微調整（PEFT）手法は、アダプタサイズと表現力の間のトレードオフに直面しています。超低パラメータのアダプタは固定された低ランク部分空間に閉じ込められるため、学習を延長しても性能が頭打ちになります。私たちは、BoostLoRA を提案します。これは、現在のモデルが誤る例に対して、最小限のアダプタを反復的に学習し、マージすることでこの制約を克服する勾配ブースティングの枠組みです。ROTATE SVD の基底戦略により、各ラウンドを直交する部分空間に割り当てるため、累積される有効ランクはラウンド数に対して線形に増加します。一方で、各アダプタは超低ランクのままです。マージ後はアダプタを破棄するため、推論時のオーバーヘッドはゼロのまま維持されます。Qwen2.5-3B では、BoostLoRA は GSM8K で 89.1%、MATH-500 で 68.8% を達成し、最良の単発型の超低パラメータ・アダプタ（TinyLoRA）とフル微調整の両方を上回ります。コード生成では、MBPP で 57.2%、HumanEval で 80.4% を達成しますが、フル微調整はゼロショットのベースラインを下回ります。また、ESM2-650M によるタンパク質結合の分類で、クロスアーキテクチャ転移と交差エントロピー学習を示します。私たちの知る限り、BoostLoRA は学習に伴って有効ランクが増大する最初の PEFT 手法であり、ラウンドごとのパラメータコストと、総合的な表現能力を切り離します。