SAMoRA：タスク適応学習のためのセマンティック認識ミクスチャ・オブ・LoRAエキスパート

arXiv cs.CL / 2026/4/22

📰 ニュースModels & Research

共有:

要点

本論文は、Mixture-of-Experts（MoE）とLoRAを組み合わせたパラメータ効率の高いファインチューニング手法として、SAMoRAを提案し、大規模言語モデルのタスク適応型マルチタスク学習の改善を目指します。
先行手法の課題として、入力のセマンティクスとエキスパート能力の対応が曖昧で専門化が弱くなる点と、更新強度をタスクの複雑さに応じて調整できない一様な融合・重み付けの点に対処します。
SAMoRAでは、テキストのセマンティクスを最適なエキスパートへ結び付けるためのセマンティック認識ルータ（Semantic-Aware Router）を導入し、より精密なルーティングを実現します。
さらに、タスク要件に応じて各エキスパートの寄与を動的に調整するTask-Adaptive Scalingメカニズムを提案します。
複数のマルチタスクベンチマークで、SAMoRAが既存の最先端手法を大きく上回り、タスク汎化能力も良好であることを実験で示し、GitHubでコードも公開しています。

Abstract

Mixture-of-Experts（MoE）とLow-Rank Adaptation（LoRA）の組み合わせは、大規模言語モデルのマルチタスク学習能力を高めるうえで大きな可能性を示してきました。しかし、既存の手法には主に2つの課題があります。（1）現在のMoE-LoRA手法における不正確なルーティングでは、入力のセマンティクスを専門家（エキスパート）の能力と明示的に対応付けることに失敗し、その結果、エキスパートの専門化が弱くなります。（2）一様な重み融合戦略では、異なるタスクの複雑さの違いを見落としており、更新強度を適応的に提供することができません。これらの制約に対処するため、タスク適応学習に特化した新しいパラメータ効率の高い微調整フレームワークであるSAMoRA（Semantic-Aware Mixture of LoRA Experts）を提案します。具体的には、最適なエキスパートへの正確なルーティングのために、テキストのセマンティクスを適切なエキスパートと明示的に整合させるセマンティクス対応ルータ（Semantic-Aware Router）を提案します。さらに、タスク固有の要求に基づいてエキスパートの貢献度を動的に制御するタスク適応スケーリング（Task-Adaptive Scaling）機構を設計します。加えて、エキスパートの専門化と効果的なスケーリングを共同で促進する新しい正則化目的を提案します。複数のマルチタスクベンチマークに対する大規模な実験の結果、SAMoRAは最先端手法を大幅に上回り、優れたタスク汎化能力を持つことが示されています。コードは https://github.com/boyan-code/SAMoRA で公開されています