要旨: 低ランク分解は、大規模言語モデル（LLM）の微調整および推論において重要な課題として注目されています。特異値分解（SVD）により、重み行列は最適に低ランク空間へと因数分解できます。従来、一般的な手法は、活性（アクティベーション）でホワイトニングされた空間における重みを分解し、その後に満足のいく結果を得ることでした。本研究では、2次ヘッシアン情報を活用することで、モデル空間における分解問題を検討する Optimal Brain Decomposition LLM（OBD-LLM）を提案します。ヘッシアンの厳密なクロネッカー因数分解により、分解では層の入力情報と出力情報の両方を考慮する必要があることを示し、入力のみの手法と比べて大幅に優れた分解結果を達成します。損失を意識した分解手法では、重み行列に対して双方向のホワイトニングを行います。その結果、OBD-LLMは、言語モデルにおける重みの最適分解に対する閉形式解となります。驚くべきことに、先行する最先端の分解手法である SVD-LLM と比べて、約 20-40\% より良い結果を達成します。
正確なLLM低ランク近似のための最適ブレイン分解（OBD）
arXiv cs.LG / 2026/4/2
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、微調整および推論のためにLLMの重み行列を低ランク近似する方法を扱い、一般的な「活性の後にSVDを行う／ホワイトニング後にSVDする」手法を超えるアプローチを提案する。
- OBD-LLMは、入力側のホワイトニングのみに依存するのではなく、ヘッセリアン（Hessian）から得られる2次情報を用いてモデル空間上で分解を行う。
- ヘッセリアンに対して厳密なクラッカー因子分解（Kronecker-factorization）を適用することで、当該層の入力情報と出力情報の両方を考慮し、近似の品質を向上させる。
- このアプローチは「損失を意識した（loss-aware）」設計であり、重み行列に対して双方向のホワイトニングを行うことで、閉形式の最適な分解解を得る。
- 実験では、SVD-LLMによる従来の最先端分解手法よりも約20〜40%良い結果が報告されている。
