補間によって捉える、生存モデルにおける過パラメータ化の理解

arXiv stat.ML / 2026/4/23

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

古典的な学習理論では、モデル容量に対するテスト損失がU字型になることが予測されますが、近年の機械学習では「補間閾値」の後に損失が再び下がるダブルディセントが観測されることが多いです。
本論文は、生存分析においてもダブルディセントや過パラメータ化の影響が現れるかを調べますが、この点は回帰・分類に比べて未解明な部分が多いとされています。
著者らは、DeepSurv、PC-Hazard、Nnet-Survival、N-MTLRの4つの生存モデルについて、損失ベース学習における補間と有限ノルム補間を厳密に定義して解析します。
likelihoodベースの損失関数とモデル実装が、補間（および有限ノルム補間）の成立可否を左右することを示し、生存モデルにおいて過パラメータ化が無害とは限らないことを示唆します。
数値実験により、理論を支持し、検討した生存モデル間で一般化挙動がそれぞれ異なることを示します。

Abstract

古典的な統計的学習理論は、バイアス分散トレードオフによって駆動されるため、テスト損失とモデル容量の間にU字型の関係が生じることを予測する。近年の現代的な機械学習の進展は、より複雑なパターン、すなわち二重降下（double-descent）を明らかにしてきた。これは、補間閾値（interpolation threshold）付近でテスト損失が一度ピークを迎えた後、モデル容量がさらに増大してもテスト損失が再び低下するというものである。この振る舞いは回帰および分類では広く解析されてきたが、生存分析におけるその現れは未解明のままである。本研究では、4つの代表的な生存モデル、DeepSurv、PC-Hazard、Nnet-Survival、N-MTLR における過パラメータ化（overparametrization）を調査する。二重降下を理解するために、損失に基づくモデルにおける2つの重要な特性である補間（interpolation）と有限ノルム補間（finite-norm interpolation）を厳密に定義する。続いて、これら4つのモデルすべてに対して（有限ノルム）補間が存在するか、または存在しないかを示す。われわれの発見は、尤度ベースの損失とモデル実装が、補間の可否をどのように共同で決定するかを明確化し、生存モデルにおける過パラメータ化を良性（benign）なものと見なすべきではないことを示す。すべての理論的結果は数値実験によって裏付けられており、生存モデルが示す異なる汎化挙動を際立って示している。