Abstract
本研究は、活性化関数の曲率——最大の2階導関数
max|
igma''| によって定量化される——が敵対的頑健性において果たす重要な役割を調査する。パラメータ
alpha および
beta により曲率を精密に制御可能な Recursive Curvature-Tunable Activation Family（RCT-AF）を用いて、この関係を体系的に解析する。本研究は本質的なトレードオフを明らかにする。すなわち、曲率が不足するとモデルの表現力が制限され、一方で曲率が過剰になると損失の正規化されたヘッセ行列の対角成分のノルムが増大し、その結果として、より鋭い極小値が生じて頑健な汎化を妨げる。これにより、非単調な関係が得られる。最適な敵対的頑健性は一貫して
max|
igma''| が 4 から 10 の範囲に収まるときに常に達成されることが分かり、この知見は多様なネットワーク構造、データセット、敵対的学習手法にわたって成立する。活性化の曲率が損失のヘッセ行列の対角成分にどのように影響するかについて理論的な洞察を提供し、さらに実験的に、正規化されたヘッセ行列対角ノルムが
max|
igma''| に対して U 字型の依存性を示し、その最小値が最適な頑健性の範囲内にあることを示す。これにより提案したメカニズムを検証する。
