SplitFT：LLMファインチューニングのための適応的フェデレーテッド・スプリット学習システム

要旨: フェデレーテッド・スプリット・ラーニングは、古典的なフェデレーテッド・ラーニングにおけるクライアントの計算資源制約に対処しつつ、データ所有者間で分散されたモデル学習に対してデータのプライバシーを保証するための効率的なアプローチとして同定されてきました。しかし、そのような学習戦略が大規模言語モデル（LLM）の微調整に適用されると、いくつかの重大な課題に直面します。これらの課題には、データとデバイスの不均一性の問題に対処するために、異なるクライアント間で切断層（cutlayer）を適応的に設定することが含まれ、これはシステム性能に大きく影響します。さらに、微調整手順中の通信オーバーヘッドを効率的に削減することも別の課題です。これらの課題に取り組もうとする研究はこれまで存在しません。
このギャップを埋めるために、我々は LLM の微調整のための適応的フェデレーテッド・スプリット・ラーニングシステム SplitTF を提案します。SplitFT は、異なるクライアントが自身の計算資源と学習済みモデルの性能に応じて異なる切断層を設定できるようにします。また、通信オーバーヘッドを削減するために、切断層における LoRA のランクを減らすことも提案します。提案するスプリット型フェデレーテッド学習システムにおいて、現実世界のアプリケーションにおける不均一データをシミュレートすることに加えて、学習データを異なるクライアントに分割するための長さに基づくディリクレ（Dirichlet）アプローチも提案します。広範な実験結果により、提案手法が、様々な人気ベンチマークに基づく微調整の時間効率とモデル性能の点で、最先端のアプローチを上回ることが示されています。