セマンティック・ルーティングとアダプタのパーソナライズによる欠損モダリティ対応のフェデレーテッド・クロスモーダル検索
arXiv cs.CV / 2026/4/28
📰 ニュースDeveloper Stack & InfrastructureModels & Research
要点
- 本論文は、非IIDのクライアントデータと欠損モダリティという2つの現実的課題に対処する、パーソナライズに適したフェデレーテッド学習フレームワークRCSRを提案する。
- RCSRは凍結したCLIPバックボーンをベースに、共有知識の伝達には軽量な共有アダプタを用い、必要に応じてクライアント固有のアダプタを追加して効率的なローカル適応を可能にする。
- プロトタイプ・アンカリングにより、単一モダリティのクライアントがグローバルなクロスモーダル意味論に整合しやすくなり、共有空間への対応が改善される。
- サーバ側のセマンティック・ルータが、検索の一貫性（retrieval consistency）に基づいて集約の重みを適応的に決めることで、異質なクライアント更新によるアライメントのドリフトを抑えることを狙う。
- MS-COCOやFlickr30Kなどの実験で、RCSRはグローバルな検索精度と学習安定性を向上させるだけでなく、特にモダリティが不完全なクライアントでクライアントレベルの性能も高めることが示される。
