LoRAが誘発するロジットシフトの形式化：技術ノート
arXiv cs.LG / 2026/4/23
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この技術ノートでは、LoRAがモデルのロジット（ロジットシフト）とファクト・マージンに与える影響を、一次の枠組みで定量化するための形式化を提案します。
- ベースモデルの軌道の周りで一次のフレシェ近似を用いて、適応による効果を解析します。
- 複数層にまたがるLoRAの挙動は、層ごとの寄与の線形和と、層間結合を表す高次の残差項に分解できると述べています。
- 実験的な観測を超えて、近似の精度や相互作用項に焦点を当てた数学的な観点を提供します。
