ArmSSL：自己教師あり学習の事前学習エンコーダ向けの敵対的に頑健なブラックボックス・ウォーターマーキング

要旨: 自己教師あり学習（SSL）エンコーダは、計り知れない知的財産（IP）です。しかし、IP保護のための既存のSSLウォーターマーキングは、次の2つの実用要件を同時に満たすことができません。 (1) 奪取されたエンコーダが下流タスクで使用された後、ブラックボックスの疑わしいモデルアクセス下で所有権の検証能力を提供すること。 (2) ウォーターマークのサンプルが判別可能な分布外（OOD）クラスターを形成するため、敵対的なウォーターマーク検出または除去に対して頑健であること。 本研究では、ArmSSLというSSLウォーターマーキングフレームワークを提案します。これは、ユーティリティを維持しつつ、ブラックボックスでの検証可能性と敵対的な頑健性を保証します。 検証のために、ペアとなる不一致の拡大を導入し、クリーンなものとそのウォーターマーク対応物の間で特徴空間の直交性を強制することで、疑わしいモデルに対するブラックボックス環境で信頼できる検証信号を生成します。 敵対的な頑健性のために、ArmSSLは、潜在表現のもつれ（entanglement）と分布整合（alignment）を統合して、OODクラスターの形成を抑制します。 前者は、ウォーターマーク表現をクリーン表現（すなわち元のソースクラス以外のもの）と結びつけ、ウォーターマークサンプルが密なクラスターを形成することを避けます。 後者は、ウォーターマーク表現とクリーン表現の分布上の不一致を最小化し、それによってウォーターマークサンプルを自然な分布内データとして偽装します。 ユーティリティのために、参照ガイド付きウォーターマーク調整戦略を設計し、ウォーターマーク付きエンコーダの出力を通常データ上での元のクリーンエンコーダの出力と整列させることで、ウォーターマークをメインタスクに影響を与えることなく小さなサイドタスクとして学習できるようにします。 5つの主要なSSLフレームワークと9つのベンチマークデータセットにわたる大規模な実験に加え、SOTAとのエンドツーエンド比較により、ArmSSLが優れた所有権の検証、無視できるユーティリティ劣化、ならびにさまざまな敵対的な検出および除去に対する強い頑健性を達成することを示します。