FastATベンチマーク：高速敵対的学習手法を公平に評価するための包括的フレームワーク

Abstract

高速対向的学習（Fast Adversarial Training: FastAT）は、PGD-AT のような標準的な多段階手法で生じる計算コストの一部の費用で対向的ロバスト性を達成することを目指します。近年、数多くの FastAT 手法が提案されていますが、それらを公平に比較することはいまだ困難です。既存のベンチマークや公開リーダーボードでは、通常、モデルアーキテクチャの多様性、学習設定の違い、外部データソースの使用が許容されているため、報告された改善が真のアルゴリズム上の進歩を反映しているのか、それとも単により好ましい実験条件によるものなのかが不明です。 この問題に対処するため、3 つの中核となる設計原則に基づいて構築された、制御された評価フレームワークである「FastAT ベンチマーク」を導入します。その原則とは、(1) 統一されたアーキテクチャ要件、(2) 標準化された学習設定、(3) 外部データまたは合成データの厳格な禁止、です。本ベンチマークは、単一のコードベース内で 20 以上の代表的な FastAT 手法を実装し、直接的で再現可能な比較を可能にします。各手法は、対向的ロバスト性（PGD、AutoAttack、および CR Attack における精度）と計算コスト（GPU 学習時間およびピークメモリ使用量）を測定するデュアル指標による評価フレームワークを通じて評価されます。CIFAR-10、CIFAR-100、Tiny-ImageNet に関する包括的な実験により、適切に設計された単一ステップ手法が、著しく低いコストで PGD-AT のロバスト性に匹敵、あるいは上回り得ることが示されます。一方で、すべての評価次元において単一の手法が優位に支配することはありません。将来の FastAT 研究のために、透明で公平な評価を支援するため、本ベンチマーク一式（ソースコード、設定ファイル、実験結果を含む）は公開されています。