Fed3D：連合学習による3D物体検出

Abstract

1台のサーバで学習された3D物体検出モデルは、自動運転、ロボットマニピュレーション、拡張現実のシナリオにおいて重要な役割を果たします。しかし、大規模な3Dシーンを探索するために複数ロボットの知覚ネットワークへ展開するとき、多くの既存手法は深刻なプライバシー上の懸念に直面します。一方で、3Dデータの異種性や通信帯域の制約のため、3D物体検出シーンに従来の連合学習手法を適用することは非常に困難です。本論文では、プライバシーを保持しつつ3D物体検出のための分散学習を可能にする、新しい連合型3D物体検出フレームワーク（すなわちFed3D）を提案することへの最初の試みを行います。具体的には、ローカルロボットにおける不規則な入力の3D物体や、ロボット間でのカテゴリ分布の多様性が、それぞれローカルな異種性とグローバルな異種性を引き起こしうることを考慮します。そこで、3Dデータの異種性の問題に対して、ローカル・グローバルのクラス認識損失を提案します。これは、ローカルおよびグローバルの観点から、異なる3Dカテゴリの勾配逆伝播率のバランスを取ることができます。各ラウンドでの通信コストを削減するために、連合型3Dプロンプトモジュールを開発します。このモジュールは、学習可能なパラメータが少ないプロンプトのみを学習し、通信します。以上を踏まえて、連合型3D物体検出に関するいくつかの大規模な実験により、提案するFed3Dモデルは、限られたローカル学習データを与えた場合において、通信コストがより低いにもかかわらず、最先端アルゴリズムを大幅に上回ることが示されます。