VLMを頑健にする要因は何か？視覚-言語モデルにおける頑健性と精度の両立へ

要約: 視覚と言語モデル（VLMs）における敵対的頑健性の達成は、クリーンデータの精度を不可避的に損なうため、長年にわたる難しく挑戦的なトレードオフを提示します。本研究では、このトレードオフを再検討し、根本的な問いを探ります：VLMsを頑健にする要因は何か？敵対的にファインチューニングされたモデルの詳細な分析を通じて、頑健性メカニズムが内部でどのように機能し、クリーンな精度とどのように相互作用するかを検討します。われわれの分析は、敵対的頑健性がネットワークの深さ全体に一様には分布していないことを示しています。代わって、予期せずして、それは主に浅い層に局在しており、低周波のスペクトルバイアスと入力感度の低いアテンションパターンによって推進されています。一方、深層の更新はクリーンな精度と頑健な一般化の両方を損なう傾向があります。これらの知見に動機づけられ、私たちは Adversarial Robustness Adaptation（R-Adapt）を提案します。これは、すべての事前学習済み重みを凍結し、初期層のみに最小限で洞察主導の適応を導入する、シンプルでありながら効果的なフレームワークです。この設計は、敵対的頑健性とクリーンな精度の間で卓越したバランスを実現します。R-Adaptはさらに、トレーニング不要、モデル主導、およびデータ駆動型のパラダイムをサポートし、標準モデルに頑健性をシームレスに搭載する柔軟な道筋を提供します。18のデータセットと多様なタスクに対する広範な評価は、さまざまな攻撃下での最先端パフォーマンスを示します。特に、R-Adaptは大規模な視覚と言語モデル（例：LLaVAおよびQwen-VL）へ効率的に一般化し、それらの頑健性を高めます。プロジェクトページは https://summu77.github.io/R-Adapt にあります。