FED-FSTQ：エッジ端末でのLLM連合微調整を通信効率化するフィッシャー誘導トークン量子化

要旨: フェデレーテッド微調整は、プライベートデータを一元化せずにエッジデバイス上で大規模言語モデル（LLM）を適応させるための実用的な手段を提供します。しかしモバイル展開では、学習のウォールクロックは、ヘテロジニアスな帯域幅や断続的な参加によって、遅延者（ストラグラー）に制約されるアップリンク通信によりしばしばボトルネックになります。パラメータ効率型微調整（PEFT）は訓練可能なパラメータ数を削減しますが、非IID（独立同分布ではない）な設定では、ラウンドごとのペイロードが依然として過大であり、また一様な圧縮では、まれではあるもののタスクにとって重要な信号が切り捨てられてしまいます。そこで本研究では、通信効率のよいフェデレーテッドLLM微調整のための通信基盤として、フィッシャーに導かれたトークン量子化システムであるFed-FSTQを提案します。Fed-FSTQは軽量なフィッシャー・プロキシを用いてトークンの感度を推定し、重要度を考慮したトークン選択と、非一様な混合精度の量子化を組み合わせることで、有益なエビデンスに対してより高い忠実度を割り当てながら、冗長な送信を抑制します。この手法はモデル非依存であり、サーバの集約ルールを変更することなく、たとえばLoRAのような標準的なフェデレーテッドPEFTパイプラインにそのまま組み込める（ドロップイン）モジュールとして機能します。また、コンパクトな疎メッセージのパッキングにより、帯域幅が異なるクライアントを支援します。非IID分割下での多言語QAおよび医療QAに関する実験では、Fed-FSTQが、標準的なLoRAベースラインと比べて、固定の品質閾値に到達するために必要な累積アップリンクトラフィックを46分の1に削減し、さらにエンドツーエンドのウォールクロック時間-to-精度を52%改善することが示されました。加えて、推論時にフィッシャーに導かれたトークン削減を有効化すると、NVIDIA Jetsonクラスのエッジデバイス上で最大1.55倍のエンドツーエンド速度向上が得られ、厳しいリソース制約下でも展開可能であることが示されています。