Explicit Dropout：トランスフォーマー・アーキテクチャのための決定論的正則化

arXiv cs.LG / 2026/4/23

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、ドロップアウトを確率的なマスキングではなく、学習損失に直接組み込まれる決定論的な加法的正則化として定式化する「explicit dropout」を提案しています。
トランスフォーマーの各コンポーネント（注意のQ/K/Vおよびフィードフォワード層）に対して、独立に調整可能な明示的な正則化項を導出します。
画像分類、時系列アクション検出、音声分類の実験では、explicit dropoutが従来の暗黙的（確率的）ドロップアウト手法と同等、または上回る性能を示しています。
アブレーションにより、正則化係数とドロップアウト率によって正則化強度を制御しつつ、性能が安定していることが示されます。
本手法は、確率的正則化のより解釈可能できめ細かな代替となりつつ、アーキテクチャの柔軟性も維持することを目指しています。