FourierMoE：大規模言語モデルのためのフーリエ・モジュラー（Fourier）混合エキスパート適応

要旨: パラメータ効率の高い微調整（PEFT）は、計算予算が限られた状況で大規模言語モデル（LLM）を適応させるための重要なパラダイムとして登場してきた。しかし、標準的なPEFT手法は、多タスク微調整の設定ではしばしば問題に直面する。複数の多様な最適化目的がタスク間の干渉を引き起こし、限られたパラメータ予算は表現力の不足につながるためである。これらの課題を緩和するために、近年は混合エキスパート（MoE）を取り入れるアプローチが提案されているが、それらは主に空間領域で動作しており、構造的冗長性やパラメータのオーバーヘッドが生じる可能性がある。これらの制約を克服するために、我々はスペクトル領域における適応を再定式化する。スペクトル解析の結果、異なるタスクは異なる周波数エネルギー分布を示し、またLLMの各層が不均質な周波数感度を持つことを明らかにした。これらの知見に動機づけられて、FourierMoEを提案する。これは、MoEアーキテクチャに逆離散フーリエ変換（IDFT）を組み合わせ、周波数に応じた適応を行う。具体的には、FourierMoEは周波数適応型ルータを用いて、トークンを異なる周波数帯域に特化したエキスパートへと振り分ける。各エキスパートは、共役対称な複素係数の集合を学習し、位相と振幅の完全な情報を保持する。その上で、理論的には実数値の空間重みへの損失のないIDFT再構成を保証する。28のベンチマーク、複数のモデル・アーキテクチャ、さまざまなスケールにわたる大規模な評価により、FourierMoEは、単一タスクおよび多タスクの両方の設定において、競合するベースラインを一貫して上回りながら、学習可能パラメータ数を大幅に削減できることを示した。これらの結果は、スペクトル領域におけるエキスパート適応が、LLMの微調整に対する効果的かつパラメータ効率の高いパラダイムとして有望であることを示している。