Revisiting Label Inference Attacks in Vertical Federated Learning: Why They Are Vulnerable and How to Defend

要約: 垂直型連邦学習（VFL）は、トップモデルを持つ能動的パーティと、ボトムモデルを持つ複数の受動的パーティが協力できるようにします。 このシナリオでは、特徴のみを所持する受動的パーティが能動的パーティのプライベートなラベルを推測しようとする可能性があり、ラベル推論攻撃（LIAs）を重大な脅威となります。 従来のLIAs研究は、十分に訓練された下位モデルがラベルを効果的に表現できると主張してきました。 しかし、この見解は誤解を招くものであり、既存のLIAsの脆弱性を露呈します。 相互情報量を活用することにより、VFLにおける「モデル補償」現象の初観測を提示します。 理論的に、VFLにおいて層の出力とラベルとの間の相互情報量は層の深さとともに増加することを証明します。これにより、下位モデルが主に特徴情報を抽出し、上位モデルがラベルのマッピングを担うことが示されます。 この洞察に基づき、既存のLIAsの成功が実際には特徴とラベルの分布整合性に起因することを示すため、タスク再割り当てを導入します。 この整合性が崩れると、LIAsの性能は急激に低下するか、完全に機能しなくなることさえあります。 さらに、この洞察が防御に与える影響についても調査しています。 層の調整に基づくゼロオーバーヘッドの防御手法を提案します。 5つのデータセットと5つの代表的なモデルアーキテクチャを対象とした広範な実験は、切断層を前方へ移動して全体のモデルにおけるトップモデル層の割合を増やすことが、LIAsに対する耐性を高めるだけでなく、他の防御策も強化することを示しています。