連邦型レコメンデーションにおける一般化埋め込み学習のためのシャープネス認識最小化
arXiv cs.LG / 2026/3/13
📰 ニュースModels & Research
要点
- 著者らは、分散したクライアント間で一般化されたアイテム埋め込みを学習することを目的とした連邦型レコメンデーションフレームワークFedRecGELを提案する。
- 本研究は、アイテム中心の視点から問題を再定式化し、訓練全体を通じて一般化された埋め込みを促進するため、多タスク学習問題として位置づける。
- 本アプローチは、一般化の課題に対処するためシャープネス認識最小化を採用し、訓練を安定化させ、異種のクロスデバイスデータの下で推奨性能を向上させることを目指す。
- 理論分析と4つのデータセットでの広範な実験により、FedRecGELが連邦型レコメンデーションの性能を顕著に改善する効果が示されており、コードは以下のGitHubリンクで公開されている(https://github.com/anonymifish/FedRecGEL)。
- 本研究は、連邦設定におけるクライアント間の知識共有を効果的にするには埋め込みの安定性が重要であることを強調し、データの非均質性とスパース性の課題に対処する。
要旨: フェデレーテッド・リコメンダーシステムは、ユーザーの相互作用データを局所に保ち、重要なモデルパラメータのみを共有することで協調的なモデル訓練を可能にし、プライバシーリスクを軽減します。しかし、既存の手法は、連邦リコメンドシステムの訓練プロセス全体を通じて一般化されたアイテム埋め込みを安定して学習するという重要な問題を見落としています。アイテム埋め込みは、クライアント間の知識共有を促進する中心的な役割を果たします。ところが、デバイス間の設定では、局所データ分布は顕著な非均質性とスパース性を示し、一般化された埋め込みを学習する難易度を高めます。これらの要因は、一般化されたアイテム埋め込みの安定した学習を、効果的な連邦レコメンドにとって不可欠でありながら、達成を難しくします。このギャップを埋めるため、FedRecGEL(Federated Recommendation with Generalized Embedding Learning)という新しい連邦レコメンドフレームワークを提案します。アイテム中心の視点から連邦レコメンド問題を再定式化し、訓練過程全体で一般化された埋め込みを学習することを目的として、多タスク学習問題として位置づけます。理論分析に基づき、一般化問題に対処するためシャープネス認識最小化を採用し、訓練プロセスを安定化させ、推奨性能を向上させます。4つのデータセットに関する広範な実験は、FedRecGELが連邦レコメンデーションの性能を顕著に向上させる効果を示しています。私たちのコードは https://github.com/anonymifish/FedRecGEL で公開されています。
関連記事
[R] アイデンティティ・アンカーと権限階層の組み合わせが abliterated LLMs で 100% の拒否を実現 — システムプロンプトのみ、ファインチューニングなし
Reddit r/MachineLearning
[P] 自宅PC上の Vibecoded: Karpathyに触発されたAI支援の研究ループを用いて、約2700 Elo のブラウザでプレイ可能なニューラルチェスエンジンを構築
Reddit r/MachineLearning
DuckLLM 1.0 — 私の初めてのモデルを紹介します!
Reddit r/LocalLLaMA
FastFlowLMがLinux対応を追加したため、同社がサポートする全モデルをベンチマークしました。以下が結果です。
Reddit r/LocalLLaMA
高次元生存分析におけるネストしたモデルと非ネストモデルを比較する際に用いる評価指標は何ですか [D]
Reddit r/MachineLearning