SOLAR：サブスペース指向の潜在アダプタ再パラメータ化による通信効率の高いモデル適応

arXiv cs.CL / 2026/4/10

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、パラメータ効率の高い微調整（PEFT）アダプタに対するポストトレーニング圧縮フレームワークであるSOLARを提案し、通信およびストレージコストの削減を目的とする。
SOLARは、基盤モデルの特異ベクトルから導出した基底ベクトルの線形結合としてPEFT更新を再パラメータ化し、表現をコンパクトに保つための制御されたランダム摂動を用いる。
基盤モデルとタスク固有更新のサブスペース類似性を活用することで、SOLARは元のPEFT構造とは独立にアダプタサイズを決めつつ、表現力を維持する。
この手法はモデルに依存しない（モデル・アグノスティック）設計であり、LoRAやAdaLoRAなどの既存のPEFT手法と互換性がある。また著者らは理論的な再構成誤差の上界を提示している。
言語・視覚の各種タスク（LLaMA、GPT、ViTを含む）における実験の結果、SOLARはタスク性能を維持しつつ、分散システムやエッジデバイスへの展開に向けてアダプタ表現サイズを大幅に削減できることが示される。

要旨: LoRA などのパラメータ効率の高い微調整（PEFT）手法は、低ランクのアダプタを注入することで基盤モデルのスケーラブルな適応を可能にします。しかし、通信およびストレージのコストは、リソースが制約された環境において依然として大きなボトルネックです。本稿では、PEFT アダプタの通信コスト（すなわち、送信または保存するパラメータ数）を大幅に削減する事後学習型圧縮フレームワークである SOLAR（Subspace-Oriented Latent Adapter Reparameterization）を提案します。SOLAR は、各 PEFT の更新を、制御されたランダムな摂動を伴って基盤モデルの特異ベクトルから形成される基底ベクトルの線形結合として表現します。基盤モデルと、タスク固有に微調整された更新との間の部分空間の類似性（主方向の整合）を活用することで、SOLAR はアダプタのサイズを PEFT の構造から切り離し、コンパクトでありながら表現力のある表現を保証します。SOLAR はモデルに依存せず、LoRA、AdaLoRA、および他のアダプタ・モジュールを含む既存の PEFT 手法と互換です。再構成誤差に関する理論的な上界を導出します。LLaMA、GPT、および ViT モデルを用いた言語・視覚タスクに対する実験により、SOLAR がタスク性能を維持しつつ、モデル表現サイズを大幅に削減できることが示され、分散システムやエッジデバイスへの展開に向けた、効果的かつ通信効率の高い解決策を提供します。