言語モデルのためのタスク中心パーソナライズド・フェデレーテッド微調整

Abstract

フェデレーテッドラーニング（FL）は、多様なタスクにおける分散された秘匿データセット上で言語モデルを訓練するための有望な手法として注目を集めています。しかし、異種のタスクで訓練されたモデルを集約すると、個々のクライアントの全体的な性能がしばしば低下します。この問題に対処するため、パーソナライズドFL（pFL）は、各クライアントのデータ分布に合わせたモデルを作成することを目指します。これらのアプローチはローカル性能を向上させますが、通常、次の2つの側面において頑健性が欠けています：（i）汎化：クライアントが未知のタスクに対して予測を行う必要がある場合、またはデータ分布に変化が生じた場合、そして（ii）クライアント内タスクの干渉：単一のクライアントのデータに、ローカル訓練中に互いに干渉し得る複数の分布が含まれる場合です。これら2つの課題に取り組むため、私たちは、クライアントごとではなくタスクごとに専用モデルを構築する、クラスタリングベースのpFLであるFedRouterを提案します。FedRouterはアダプタを用いてモデルをパーソナライズし、2つのクラスタリングメカニズムにより、アダプタを特定のタスクに関連付けます。タスクデータサンプルに基づいてアダプタを関連付けるローカルクラスタリングと、異なるクライアントからの類似したアダプタを関連付けてタスク中心のパーソナライズドモデルを構築するグローバルなものです。さらに、生成されたクラスタに基づいてテストサンプルを最適なアダプタへルーティングする評価ルータメカニズムも提案します。マルチタスクデータセットにおいて、既存手法と比較した実験の結果、FedRouterはこれらの困難なシナリオに対して高い耐性を示し、タスク干渉下では最大で相対的に6.1%向上し、汎化評価では最大で相対的に136%の改善を達成しました。