CCAR：固有のロバスト性を創発的な幾何学的性質として捉える

arXiv cs.LG / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、従来の教師あり学習が予測精度を最適化する一方で、学習された特徴の幾何構造を制御しないため、表現が絡み合い脆くなり得ると主張している。
Class-Conditional Activation Regularization（CCAR）を提案し、クラス情報が直交する潜在空間サブスペースに閉じ込められるように、ソフトな帰納バイアスでブロック対角構造を課す。
この構造的制約がフィッシャー判別比の最大化と結びつくことを理論的に示し、幾何学的な分離（disentanglement）とアルゴリズムの安定性の形式的な関係を提示している。
実験では、CCARが「よく設計された特徴空間の結果として」ロバスト性が創発することを示し、ラベルノイズや入力の破損・敵対的摂動を扱うベンチマークで基準手法を大きく上回った。

Abstract

標準的な教師あり学習は予測精度を最適化するものの、学習された特徴の内部幾何に対しては無関心（アグノスティック）なままであり、しばしば絡み合って脆い表現を生成します。私たちは、クラス条件付き活性化正則化（Class-Conditional Activation Regularization, CCAR）を提案し、ソフトな帰納バイアスによってブロック対角構造を明示的に課すことで、特徴空間を意図的に設計します。潜在表現を、クラスのエネルギーが直交する部分空間に閉じ込められるように形作ることで、ノイズや敵対的摂動を自然にふるい分ける固有の幾何学的足場を作り出します。さらに本研究では、この構造的制約とフィッシャー判別比の最大化との関連を結びつける理論的解析を行い、幾何学的な分離（ディスエンタングルメント）とアルゴリズムの安定性のあいだに形式的な関係を確立します。実験的には、このアプローチにより、頑健性は適切に設計された特徴空間から生じる（創発する）性質であることが示され、ラベルノイズおよび入力破損（コラプション）のベンチマークにおいてベースラインを大幅に上回ります。