ニューラルネットワークに対する適応的なノルムベース正則化
arXiv stat.ML / 2026/5/4
📰 ニュースModels & Research
要点
- 本論文はニューラルネットワークにおけるノルムベース正則化を扱い、既存のペナルティ手法を比較した上で、リッジ型・ラッソ型の古典的正則化を拡張する2つの新しい方策を提案している。
- 1つ目の手法は、入力特徴量の共分散構造をℓ2（リッジ型）ペナルティに組み込むことで、重み減衰を特徴量の依存関係を反映する形に適応させる。
- 2つ目の手法は、ℓ1の疎性（スパース性）ペナルティに、共分散に配慮したℓ2正則化を組み合わせ、疎でありながら構造に基づいた重み学習を促す。
- モンテカルロシミュレーションと2つの実データ実験（建物の冷房負荷予測、遺伝子発現データからの白血病細胞タイプ分類）により、提案正則化は、相関のある特徴量や高次元条件で特に標準的なノルムベース手法よりも未観測データでの予測精度と複雑度制御が改善することが示されている。
