概要: 多タスク学習（MTL）は、単一のモデルで複数のタスクを効率的に解くことを可能にすることを目指します。しかし、現在のパラメータ効率の高い微調整（PEFT）手法は、ほとんどが単一タスク適応に限られています。我々は、周波数スイッチング（\textbf{Free}）によってほぼゼロコストの重みモジュレーションを実現する、パラメータ効率の高い多タスク学習フレームワーク\textbf{Free Sinewich}を提案します。具体的には、\textbf{Sine-AWB（Sinewich）}層が、低ランク因子と畳み込みの事前知識を単一のカーネルへ統合し、その後、正弦変換によって要素ごとにモジュレートすることで、タスクに特化した重みを生成します。学習中にこのモジュレーションを安定化するために、軽量なClock Netを導入し、上限付きの周波数を生成します。理論的には、正弦モジュレーションにより低ランク・アダプタのランクが向上し、一方で周波数分離により異なるタスクの重みが非相関になります。密な予測ベンチマークにおいて、Free Sinewichは最先端の性能と効率のトレードオフを達成します（例：6.53Mの学習可能パラメータのみで単一タスク微調整に対し最大+5.39\%の改善）。これは、周波数に基づくパラメータ共有に基づくコンパクトでスケーラブルなパラダイムを提供します。プロジェクトページ: \href{https://casperliuliuliu.github.io/projects/Free-Sinewich/}{https://casperliuliuliu.github.io/projects/Free-Sinewich/}。
パラメータ効率の高いマルチタスク学習のための周波数スイッチング機構
arXiv cs.CV / 2026/3/24
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、Free Sinewich というパラメータ効率の高いマルチタスク学習フレームワークを提案し、単一タスクの適応を超えて、タスク間でほぼゼロコストの重みモジュレーションを可能にすることで PEFT を拡張する。
- Sine-AWB レイヤーを導入し、低ランク因子と畳み込みの事前知識（priors）を単一のカーネルに統合し、その後、要素ごとの正弦の周波数ベースの変調を適用してタスクに特化した重みを生成する。
- 学習中の正弦変調を安定化し、学習の信頼性を高めることを目的として、境界付きの周波数を生成する軽量な Clock Net を用いる。
- 著者らは、正弦変調が低ランクアダプタの有効ランクを増加させること、また周波数分離が異なるタスクの重み間の相関を低減することに関する理論的議論を提示している。
- 密な予測（dense prediction）のベンチマークにおいて、Free Sinewich は最先端の性能と効率のトレードオフを報告しており、6.53M の学習可能パラメータのみで単一タスクの微調整に対して最大 +5.39% の改善を達成すること、さらに周波数ベースのパラメータ共有によりコンパクトでスケーラブルであると主張している。
