MiCAはLoRAやフル・ファインチューニングよりも多くの知識を獲得する
arXiv cs.LG / 2026/4/3
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- MiCA（Minor Component Adaptation）は、LLMの表現空間における「未活用なサブスペース」を狙って、学習更新を特定の潜在方向へ制約するパラメータ効率の高い微調整手法です。
- LoRAが支配的なサブスペースを更新するのに対し、MiCAはSVDで「最小の特異値に対応する少数の（マイナー）特異ベクトル方向」を特定し、その方向に沿う更新だけを許容します。
- 最適化された学習ハイパーパラメータ下で、知識獲得においてLoRA比最大5.9倍の改善が報告され、必要パラメータもLoRA比で6〜60%程度に抑えられるとされています。
- マイナー特異方向への適応を制約することで、新しい知識の統合をより効率的かつ安定に行える可能性が示唆されています。
