アブストラクト: 低ランク適応（LoRA）は、大規模言語モデル（LLMs）を効率的に微調整するために広く用いられている手法ですが、その厳密に線形な構造は本質的に表現力を制限します。重線形（ビリニア）な重み更新の定式化は、低ランク因子間の1次の依存関係のみを捉えるため、非線形および高次のパラメータ間相互作用のモデリングが制限されます。本論文では、低ランク因子空間へ直接、構造化された多項式展開を導入する新しい手法「Polynomial Expansion Rank Adaptation（PERA）」を提案します。各低ランク因子を展開して合成前に高次の相互作用項を生成し、その後の合成（composition）によって、PERAは適応空間を多項式多様体へと変換します。これにより、ランクや推論コストを増やすことなく、より豊かな非線形な結合をモデル化できます。既存の線形適応アプローチと比較して、PERAが表現力を高め、特徴の利用効率もより効果的であることを理論的に示します。実験的には、PERAは多様なベンチマークにおいて一貫して最先端の手法を上回ります。特に、我々の実験では、高次の非線形成分、なかでも2乗項を取り入れることが、表現力を高め、さまざまなランク設定において強く堅牢な性能を維持するうえで重要であることが示されています。コードは https://github.com/zhangwenhao6/PERA で公開しています
多項式展開ランク適応：高次の相互作用による低ランク微調整の強化
arXiv cs.AI / 2026/4/15
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LoRAの線形（双線形）な低ランク更新構造が、低ランク因子間の非線形または高次の相互作用を表現できないため、LLMの微調整の表現力に制約を与えると主張する。
- そこで、低ランク因子空間内に構造化された多項式展開を適用し、重み更新を合成する前に高次の相互作用項を生成する手法として、Polynomial Expansion Rank Adaptation（PERA）を提案する。
- PERAは、適応ランクを増やしたり推論コストを追加したりすることなく、より豊かな非線形な結合を実現するために更新を多項式多様体へ写像し、表現能力の向上を狙って設計されている。
- 著者らは、既存の線形適応手法と比較して、表現力の向上と特徴のより効果的な利用が得られることを示す理論的分析を提示している。
- 複数のベンチマークにおける実験の結果、PERAは最先端手法を上回り、特に二次項（平方項）が、異なるランク設定に対して強力かつ頑健な性能を発揮する上で重要な役割を果たすことが示されている。コードは公開されている。
