Aletheia：アーキテクチャ横断で効率的にLoRAを微調整するための勾配誘導型レイヤ選択
arXiv cs.LG / 2026/4/20
📰 ニュースTools & Practical UsageModels & Research
要点
- 本論文では、LoRAアダプタを全トランスフォーマ層に一律に適用するのではなく、タスクに最も関連する層を選ぶ勾配誘導型手法「Aletheia」を提案している。
- Aletheiaは軽量な勾配プローブで関連層を特定し、選択した層にのみLoRAを適用して非対称なランク配分を行う。
- 0.5B〜72Bパラメータの8つのアーキテクチャ系（密結合とMixture-of-Expertsを含む）で14モデルについて、81の実験行を通じて、平均23.1%の学習スピードアップ（15〜28%）が得られた。
- MMLU、GSM8K、HumanEvalで、忘却の増加は「上限付き」で、下流性能は概ね一致していることが示されている。
- 総合的に、層選択を賢く行うことで、評価ベンチマーク上の大きな劣化を招きにくくしつつLoRA微調整を大幅に効率化できるという実務的な「モデル経済性」主張を裏付けている。
