離散プロトタイプ記憶によるフェデレーテッド時系列基盤モデル

概要: 大規模言語モデル（LLM）を、フェデレーテッドラーニング（FL）ベースの時系列基盤モデルとして活用することは、プライベートデータへのアクセスを維持しつつ、LLMの汎化能力を時系列データへ転移する有望な方法を提供します。とはいえ、既存のLLMが持つテキスト中心の潜在空間と、時系列データとの間に意味的な不一致があることが多く、その結果として性能が低下することがあります。一方で、既存のFL手法におけるパラメータ共有メカニズムは、異質なドメイン間の時系列データを単一の連続的潜在空間へ統一してモデル化しますが、時系列の意味論がしばしば離散的で反復するレジームとして現れるという事実と矛盾しています。これらの制約に対処するために、離散的なプロトタイプ・メモリに基づく時系列基盤モデルのためのフェデレーテッドフレームワークである\textsc{FeDPM}を提案します。具体的には、ドメイン内の時系列データに対して局所的なプロトタイプ・メモリの事前分布を学習します。次に、離散的な統一潜在空間を促進するために、ドメイン間のメモリを整合させます。そして、共有されたプロトタイプ知識と個別化されたプロトタイプ知識のバランスを取るための、ドメイン固有のメモリ更新メカニズムを導入します。大規模な実験により、\textsc{FeDPM}が効率的であり、かつ有効であることが示されます。コードは https://anonymous.4open.science/r/FedUnit-64D1 で公開されています。