NeuroLoRA: パラメータ効率的な多タスク適応のためのコンテキスト認識ニューロモジュレーション

概要：パラメータ効率の高いファインチューニング（PEFT）技術、特に Low-Rank Adaptation（LoRA）は、下流タスクへの適応のために大規模言語モデル（LLMs）を活用する上で不可欠となっている。最近の FlyLoRA フレームワークは、生体に着想を得たスパースなランダム射影を活用してパラメータ干渉を緩和することに成功しているが、入力文脈を意識しない静的で大きさベースのルーティング機構に依存している。本論文では、生物学的ニューロモジュレーションに触発された新規 Mixture-of-Experts（MoE）ベースの LoRA フレームワークである NeuroLoRA を提案する――文脈に基づくニューロンの興奮性の動的調整。 NeuroLoRA は凍結されたランダム射影の計算効率を維持しつつ、エキスパート選択前に射影空間を文脈に応じて再スケールする、軽量で学習可能なニューロモジュレーションゲートを導入する。さらに、エキスパートサブスペース間の分離を明示的に強制する対照的直交性損失を提案し、タスクデカップリングと継続的学習能力の強化を図る。MMLU、GSM8K、ScienceQA を対象とした広範な実験は、NeuroLoRA が FlyLoRA や他の強力なベースラインを、単一タスク適応、マルチタスクモデル統合、連続的継続学習のシナリオ全体で一貫して上回ることを示し、パラメータ効率性も同等に維持する。