W2T: LoRAの重みはすでに何ができるかを知っている

要約: 各 LoRA チェックポイントは、低ランクの重み行列にタスク特有の更新を凝縮して格納し、大規模言語モデルを新たなタスクやドメインへ適応させる効率的な方法を提供します。原理的には、これらの重みはすでにアダプタが何をするのか、どの程度うまく機能しているのかをエンコードしています。本論文では、ベースモデルを実行したり、トレーニングデータにアクセスしたりせずに、これらの情報を重みから直接読み取れるかどうかを検討します。重要な障害は、1つの LoRA 更新が無限通りの因数分解が可能であることです。この曖昧さを解消しないと、因子に基づいて訓練されたモデルは基礎となる更新よりも、特定の因数分解に適合してしまう可能性があります。この目的のために、各 LoRA 更新を QR 分解の後に SVD を適用して証明可能な正準形へ写像し、すべての同等の因数分解が同じ表現を共有するようにする \methodfull を提案します。得られた成分は次にトークン化され、Transformer によって処理され、重み空間の埋め込みを生成します。言語と視覚の LoRA コレクション全体で、W2T は属性分類、性能予測、アダプタ検索の分野で強い結果を達成し、因数分解の曖昧さが取り除かれた後、LoRA 重みがモデルの挙動を確実に示すことを示しています。コードは https://github.com/xiaolonghan2000/Weight2Token にあります。