選択からスケジューリングへ:連続的な動的ヘテロジニアスとフェデレーテッド・クラス不均衡下で、ジオメトリに配慮した補正によりエグザンプラリプレイをよりうまく機能させる

arXiv cs.AI / 2026/4/13

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 全体として、この手法は、幾何学的整合性を強制し、偏った表現を補正することで、連続的な動的ヘテロジニアスおよびクラス不均衡なフェデレーテッド設定下でのエグザンプラリプレイをより頑健にすることを目指している。

要旨: 指例(エグザンプラ)リプレイは、過去のタスクから代表的なサンプルを保持することで、連合的継続学習(Federated Continual Learning: FCL)における壊滅的忘却を軽減するための効果的な戦略となってきました。既存の研究は、情報量の多いサンプルを特定するためのサンプル重要度推定メカニズムの設計に焦点を当てています。しかし、これらは通常、選択したエグザンプラを効果的に活用するための戦略を見落としており、クライアント間およびタスク間で生じる継続的な動的ヘテロジニアス(異質性)下での性能が制限されます。本論文では、この課題に対処するため、FEAT(Federated gEometry-Aware correcTion)と呼ばれる連合学習における幾何学に配慮した補正手法を提案します。これは、クライアント間で稀少クラスの特徴が頻出クラスへ引き寄せられる、偏り(イ ンバランス)に起因する表現の崩壊を緩和します。具体的には、2つの主要モジュールから構成されます。1) 幾何学的構造アライメント(Geometric Structure Alignment)モジュールは、特徴表現間のペアごとの角度類似性を、それに対応する等角緊密フレーム(Equiangular Tight Frame)プロトタイプへ整列させることで、構造的な知識蒸留を行います。これらのプロトタイプは固定され、クライアント間で共有されるクラス弁別的な参照構造として機能します。これにより、タスク間での幾何学的整合性が促進され、表現のドリフトの緩和に役立ちます。2) エネルギーに基づく幾何学的補正(Energy-based Geometric Correction)モジュールは、特徴埋め込みからタスクに無関係な方向成分を除去し、それによって多数派クラスへの予測バイアスを低減します。これにより、少数派クラスに対する感度が向上し、クラス不均衡な分布下でのモデルの頑健性が強化されます。