重要度を考慮したファインチューニングによる効率的な敵対的学習

arXiv cs.CV / 2026/4/15

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

画像用トランスフォーマ（Vision Transformer: ViT）モデルは標準的な性能に関してはうまくスケールする一方で、モデルサイズの増加に比例して敵対的ロバスト性は改善しない。
本論文では、敵対的ロバスト性にとって最も重要な重みを特定し、その小さな部分のみをファインチューニングするCriticality-Aware Adversarial Training（CAAT）を提案する。
CAATは、重要パラメータ数がしきい値を超える場合に、選択したモジュールや重み行列を頑健に調整するためにパラメータ効率的ファインチューニング（PEFT）を用い、フルモデルでの敵対的学習と比べて学習コストを削減する。
3つの敵対的学習データセットでの実験により、CAATはより大きなViTアーキテクチャへも汎化し、標準的な敵対的学習と非常に近いロバスト性を達成することが示される。パラメータの約6%のみを調整しつつ、性能低下は4.3%にとどまる。
これらの結果は、CAATがさらに少ないパラメータ数で学習する既存の軽量敵対的学習手法を上回る可能性を示しており、大規模に対応した敵対的学習への道筋を示唆している。

Abstract

Vision Transformer（ViT）モデルは、さまざまな視覚タスクにおいて目覚ましい性能を達成しており、大規模データセットに適用した場合のスケーラビリティが重要な利点となっています。このスケーラビリティにより、ViTモデルは強力な汎化能力を示すことができます。しかし、パラメータ数が増加すると、敵対的例（adversarial examples）に対するViTモデルの頑健性は、比例してスケールしません。頑健性を高めるための最も効果的な手法の1つである敵対的学習（Adversarial Training; AT）は、通常、モデル全体の微調整を必要とし、その結果、特に大規模なViTアーキテクチャでは計算コストが非常に高くなります。本論文では、標準的なATと同程度の頑健性を得るために、頑健性に寄与する小さなサブセットのパラメータのみを頑健に微調整することを目指します。そのために、Criticality-Aware Adversarial Training（CAAT）という新しい手法を提案します。この手法は、頑健性に最もクリティカルなパラメータへ資源を適応的に割り当て、選択したモジュールのみを微調整します。具体的には、CAATは、敵対的な頑健性に最も寄与するパラメータを効率的に特定します。次に、パラメータ効率の良い微調整（PEFT）を用いて、クリティカルなパラメータ数があらかじめ定めた閾値を超える重み行列を頑健に調整します。CAATは、より大きな視覚トランスフォーマー・アーキテクチャへスケールした場合でも良好な汎化性能を示し、敵対的学習をスケールさせる道を拓く可能性があります。例えば、単純な敵対的学習（plain adversarial training）と比較して、CAATは約6%のパラメータを微調整するだけで、敵対的頑健性の低下は4.3%にとどまります。広く使用されている3つの敵対的学習データセットに対する大規模な実験により、CAATは、訓練可能なパラメータ数がより少ないにもかかわらず、最先端の軽量AT手法を上回ることが示されています。