TLoRA+: 大規模言語モデル向けの低ランク・パラメータ効率ファインチューニング手法

arXiv cs.CL / 2026/4/16

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、広く用いられているLoRA手法を拡張し、TLoRA+オプティマイザをモデルの重み行列に統合することで、大規模言語モデル（LLM）向けのパラメータ効率ファインチューニング（PEFT）手法であるTLoRA+を提案する。
LoRAの中核的な利点—ファインチューニングを効率的に保ち、推論時の追加レイテンシを回避すること—を維持しつつ、タスク性能を向上させることを目的とする。
複数のモデルアーキテクチャにわたるGLUEベンチマークでの実験により、提案手法が一貫した改善と頑健性を示すことが確認される。
著者らは、性能向上が計算コストの大幅な増加を伴わずに得られると報告しており、LLMをドメインデータに適応させる際の実用的な効率性を維持している。

要旨: 大規模言語モデル（LLM）の微調整は、比較的小さく、かつ領域に特化したデータセットを用いて、事前学習済みモデルを特定のタスクに適応させることを目的としています。パラメータ効率のよい微調整（PEFT）手法の中でも、低ランク適応（LoRA）は、追加の推論遅延を回避しつつ、フル微調整と同等の性能を達成する点で際立っています。本論文では、事前学習済みモデルの重み行列にTLoRA+オプティマイザを組み込む、新しいPEFT手法を提案します。提案手法は、低ランク適応の効率性を維持するだけでなく、計算コストを大きく増やすことなく、さらに性能を向上させます。多様なモデルアーキテクチャにわたって、GLUEベンチマーク上で実験を行います。数値実験の結果は一貫して、提案手法の有効性と堅牢性を示しています。