要旨: 低ランク適応(LoRA)を用いた連邦学習(FL)は、プライバシー保護を実現したLLMのファインチューニングの標準となっている。 しかし、従来のパーソナライズ手法は制約のあるFlat-Model仮定の下で主に動作してきた。彼らはクライアント側の\textit{統計的異質性}に対処したが、LLM層間の\textit{機能的異質性}を無視していた。 私たちは、これら2つの統計的（水平方向）および機能的（垂直方向）な次元は、\textit{源泉上は直交しているが、相互作用の中で結合している}と指摘する。つまり、パラメータ共有の最適な深さはクライアントの類似性に機能的に依存することを意味する。 これに対処するため、私たちは\textbf{FedTreeLoRA}を提案する。これは、微細な層ごとの整合性を実現する木構造の集約を採用したフレームワークである。 動的に集約階層を構築することで、FedTreeLoRAは浅い `trunks' の広範なコンセンサスをクライアント間で共有し、深い `branches' へと段階的に特化することを可能にする。 NLU（自然言語理解）およびNLG（自然言語生成）のベンチマークを用いた実験は、FedTreeLoRAが一般化と個別化の両立を効果的に実現することで、最先端の手法を大幅に上回ることを示している。
FedTreeLoRA: フェデレーテッドLoRAファインチューニングにおける統計的ヘテロジニティと機能的ヘテロジニティの調和
arXiv cs.LG / 2026/3/17
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- FedTreeLoRAは、クライアント間の統計的ヘテロジニティとLLM層間の機能的ヘテロジニティの双方に対処するため、フェデレーテッドLoRAファインチューニングにおける層ごとの整合性を実現する木構造の集約を提案する。- このフレームワークは、浅い幹で広範な合意を共有しつつ、より深いブランチを個々の層へ特化できるよう動的に集約階層を構築し、パラメータ共有をクライアントの類似性と整合させる。- NLUおよびNLGのベンチマークにおける実験結果は、一般化と個別化の両立をよりうまく実現することで、既存のパーソナライズドFL手法を上回ることを示している。- 本研究は、FLにおける水平的ヘテロジニティと垂直的ヘテロジニティを直交するが結合した次元として再定義し、より効率的でプライバシー保護された大規模言語モデルのファインチューニングへと道を開く。
