モデル固有表現のための変分的特徴圧縮

Abstract

深層学習の推論が、共有環境やクラウドベースの環境へますます導入されるにつれ、入力の転用（input repurposing）への懸念が高まっている。これは、あるタスクのために提出されたデータが、無許可のモデルによって別の用途に再利用されることを指す。既存のプライバシー防御は主にデータへのアクセスを制限することに焦点を当てているが、公開された表現（representation）が依然として支え得る下流での利用内容については、十分な制御を提供できていない。私たちは、指定した分類器に対する精度を維持しつつ、モデル間の転移を抑制する特徴抽出フレームワークを提案する。このフレームワークは、タスクに基づく交差エントロピー目的関数とKL正則化により学習される変分潜在ボトルネック（variational latent bottleneck）を用いるが、入力をコンパクトな潜在空間に符号化するために、画素レベルの再構成損失は一切用いない。意図したタスクに対して非情報的な潜在次元を抑制するために、各次元のKLダイバージェンスと凍結した目標モデルに関する勾配ベースのサリエンシ（勾配に基づく重要度）から算出される動的な二値マスクを用いる。サリエンシ計算には勾配アクセスが必要であるため、エンコーダはホワイトボックス設定で学習される。一方、推論時には凍結した目標モデルを通した順伝播のみが必要となる。CIFAR-100では、処理された表現は指定分類器に対して強い有用性を保持しつつ、意図しないすべての分類器の精度を2%未満にまで低下させる。これは、意図しないモデルに対して45倍以上の抑制比を達成する。CIFAR-10、Tiny ImageNet、およびPascal VOCに対する予備実験では、タスク設定をまたいで提案手法が拡張可能であることを示唆する探索的な証拠が得られているが、適応的な敵対者に対する頑健性を評価するには、さらなる検証が必要である。