TalkLoRA：大規模言語モデルのための通信を意識した低ランク適応の混合（MoE）

概要: 低ランク適応（LoRA）は、大規模言語モデル（LLM）をパラメータ効率よく微調整することを可能にし、近年のMixture-of-Experts（MoE）拡張は、複数のLoRAエキスパートを動的に組み合わせることで、さらに柔軟性を高めています。しかし、既存のMoE拡張LoRA手法では、エキスパートが独立して動作すると仮定するものが多く、その結果、ルーティングが不安定になったり、特定のエキスパートが支配的になったりすることがよくあります。本論文では、
\textbf{TalkLoRA} を提案します。これは、ルーティングの前にエキスパート単位の通信の事前情報を導入することで、この独立性の仮定を緩和する、コミュニケーション認識型のMoELoRAフレームワークです。TalkLoRAは、低ランクのエキスパートに軽量なTalking Moduleを備え、エキスパートのサブ空間間で情報交換を制御できるようにします。これにより、ルーティングのためのより頑健なグローバル信号が得られます。理論的には、エキスパート間の通信が、摂動の増幅を抑えることでルーティングのダイナミクスを滑らかにし、既存のMoELoRAアーキテクチャを厳密に一般化することを示します。実験的には、TalkLoRAは、多様な言語理解および生成タスクにおいて、バニラLoRAおよびMoELoRAを一貫して上回り、比較可能なパラメータ予算のもとで、より高いパラメータ効率と、よりバランスの取れたエキスパートのルーティングを達成します。これらの結果は、構造化されたエキスパート間通信が、MoEに基づくパラメータ効率のよい適応に対する、筋の通ったかつ効果的な拡張であることを示しています。コードは https://github.com/why0129/TalkLoRA で利用可能です。