特徴相互作用モデルにおけるDNNの理解：次元崩壊（ディメンショナル・コラプス）の観点
arXiv cs.LG / 2026/4/30
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、特徴相互作用のレコメンドモデルにおいて深層ニューラルネットワーク（DNN）がなぜ有効（または不十分）になり得るのかを、「次元崩壊」という表現品質の観点から分析します。
- 高次の特徴相互作用をDNNが暗黙に学習できるという主張と、DNNが少なくとも2次のドット積を確実に学習するのが難しいという近年の知見を対比します。
- 並列DNNおよび積層DNN（スタックDNN）の両方について大規模な実験を行い、完全なモデルでの評価に加えてDNN内部コンポーネントの詳細なアブレーション分析も実施します。
- 実験結果から、並列・積層のいずれのDNN構成でも埋め込みの次元崩壊を軽減でき、学習表現の頑健性が向上することが示されます。
- 勾配ベースの理論解析を、実験的な裏付けとともに用いることで、次元崩壊が生じるメカニズムを説明します。
