パラメータ効率はメモリ効率ではない：オンデバイスLLM適応のための微調整を再考する

arXiv cs.LG / 2026/4/28

📰 ニュースDeveloper Stack & InfrastructureTools & Practical UsageModels & Research

共有:

要点

本論文は、パラメータ効率的微調整（PEFT、例：LoRAやIA3）がオンデバイスLLM適応におけるメモリ効率にそのまま結びつく、という広く浸透した前提に異議を唱えています。
学習可能パラメータを大幅に減らしても、PEFT手法は中間テンソルがシーケンス長に対して線形に増えるため、オンデバイスでメモリ不足（OOM）が起きうることを示します。
著者らはLARS（Low-memory Activation-Rank Subspace）を提案し、学習中に用いる活性化サブスペースを制約することで、メモリ使用量をシーケンス長から切り離します。
実験では、推論・理解・長文コンテキストの複数データセットにおいて、LoRAと比べて平均でGPUで33.54%、CPUで51.95%のメモリ削減を報告しつつ、精度とスループットは競争力を維持しています。
Raspberry Piや一般的なCPUでも動作を示しており、リソース制約のあるエッジ機器上での高度なLLMパーソナライズを実現する現実的な道筋を示唆しています。

Abstract

パラメータ効率ファインチューニング（Parameter-Efficient Fine-Tuning, PEFT）は、大規模言語モデル（LLM）を適応させるための標準となっています。本研究では、パラメータ効率がメモリ効率に等しく、さらにオンデバイス適応性にも結びつく、という広く普及した前提に挑みます。その前提は正しくありません。すなわち、LoRAやIA3のような手法は訓練可能なパラメータ数を大幅に削減しますが、それでも系列長に対して線形にスケールする中間テンソルに制約されており、オンデバイス環境ではメモリ不足（out-of-memory）エラーが引き起こされることが多いのです。本研究では、メモリ消費を系列長から切り離す新しい適応フレームワークであるLARS（Low-memory Activation-Rank Subspace）を提案します。従来のPEFT手法がモデルパラメータに対して低ランク制約を適用するのに対し、LARSは学習中に用いる活性化サブスペースに制約を課します。これにより、メモリ消費の支配的な要因を直接狙い、メモリ増加率を根本的に平坦化します。LARSは、推論、理解、長文コンテキストのデータセットにおいて、異なるモデルを用いた場合でも、LoRAと比較してGPUでは平均33.54%、CPUでは51.95%のメモリフットプリント削減を実現しつつ、競争力のある精度とスループットを維持します。GPUに加えて、Raspberry Piおよび一般向けのCPUにも展開し、リソース制約のあるハードウェアやエッジデバイス上で、洗練されたLLMパーソナライズをスケーラブルに実現する道筋をLARSが提供することを示します。