RDP LoRA：幾何学に基づく識別による大規模言語モデルのパラメータ効率の高い適応
arXiv cs.LG / 2026/4/22
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文は、LoRAのようなパラメータ効率の高い微調整では学習コストは下がる一方で、内部表現の役割が十分に理解されていないため、どの層を適応すべきかが構造的に不確実だと指摘しています。
- 隠れ状態の推移を高次元の幾何学的軌跡としてモデル化し、Ramer-Douglas-Peucker（RDP）アルゴリズムを用いて「ブレークポイント」を抽出します。RDPは、局所的に冗長な変化を削りつつ大域的な構造遷移を保持する訓練不要・パラメータ不要の多角形簡略化手法です。
- その幾何学的なピボットを、単なる分析のためではなく、どの層を適応させるかを決める直接の判断材料として使う点が重要です。
- Qwen3-8B-BaseにLoRA微調整へ組み込んだところ、RDPで選んだ13層のみを適応した場合（MMLU-Mathで81.67%）が、36層すべて適応（79.32%）、13層のランダム選択（75.56%）、および未適応のベースライン（74.25%）を上回りました。
- 総じて、表現軌跡の内在する幾何学が、パラメータ効率の高い適応における層選択を、頑健で解釈可能かつ訓練不要な形で最適化するための信号になると主張しています。
