1つのモデルで多様なスキルを実現する: マルチタスクコード分析のパラメータ効率的ファインチューニング
arXiv cs.AI / 2026/3/12
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、タスクとモデルアーキテクチャを横断したコード分析におけるマルチタスクPEFTの初の総合評価を提供し、単一のPEFTモジュールが、完全なマルチタスクファインチューニングと同等かそれを上回ることができると示した。
- マルチタスクPEFTは、単一タスクのファインチューニングに近い精度を維持しつつ、学習可能パラメータと計算要件を大幅に削減する、好ましい精度とコストのトレードオフを実現する。ストレージ削減はタスク数に比例して生じ、計算コストは最大で85%低下する。
- 結果は、マルチタスクPEFTの性能がタスクのグルーピングに敏感であり、タスクの安定性、モデルアーキテクチャ、タスクの補完性、非対称性、およびデータセット品質などの要因によって影響を受けることを示している。
- オープンソースのLLMを prompting する場合と比較しても、1Bパラメータのモデルであっても、マルチタスクPEFTの方がコード分析タスクで優れていることがある。
- これらの知見は、PEFTを prompting より優先すべき場合と、タスク設計とデータセット品質が共調整の結果に影響を与える方法を明らかにし、実務に資する。
