異種な目的関数と制約のもとでの意思決定志向フェデレーテッドラーニング

概要: 私たちは、ここで私たちが{意思決定志向のフェデレーテッド・ラーニング（DFFL）}と呼ぶ枠組みについて考察します。すなわち、複数のエージェントの集合によって用いられる「予測→最適化（predict-then-optimize）」アプローチであり、各エージェントの予測モデルが、下流の線形最適化問題への入力となる一方で、生のデータの直接的な交換は許可されません。重要な点として、クライアントは目的関数と実行可能性制約の両方において異なり得ます。私たちはよく知られたSPO+アプローチに基づき、この場合のSPO+代理損失に対する不均一性（ヘテロジニアティ）の境界を導出します。これは、実行可能領域のサポート関数表現を用い、(i) コストベクトル間のノルム距離による目的のシフトと、(ii) 制約集合間の形状距離による実行可能集合のシフトとを分離することで達成されます。実行可能領域が強凸である場合、オプティマイザの安定性により、より鋭い境界が導出されます。これらの結果に基づき、SPO+リスクのもとで成り立つ、ローカルとフェデレーションの超過リスクを比較するヒューリスティックな意思決定ルールを定義します。これは、フェデレーションによって意思決定の質が改善されることが見込まれる条件として、不均一性のペナルティが、データのプーリングによる統計的優位性よりも小さくなければならない、という条件を与えます。私たちは、多面体問題と強凸問題の両方に対して、FedAvgスタイルのDFFL実験を実装し、強凸設定ではフェデレーションが概ね頑健である一方、多面体設定では主として制約の不均一性によって性能が低下し、特にサンプル数の多いクライアントでその傾向が強いことを示します。言い換えると、特に強凸の場合においては、下流の最適化問題が目に見えて異なる場合でも、FedAvgとSPO+を直接実装するアプローチに従えば、依然として有望な性能を得られる可能性があります。