深いCoxモデルのミニバッチ推定：統計的基礎と実践的ガイダンス

arXiv stat.ML / 2026/3/31

💬 オピニオンIdeas & Deep AnalysisTools & Practical UsageModels & Research

共有:

要点

本論文では、深いCox（Cox-NN）モデルに対するミニバッチ確率的勾配降下法（SGD）が、標準的なCox部分尤度ではなく、ミニバッチ部分尤度の平均を効果的に最適化する方法を分析する。
ミニバッチ最大部分尤度推定量（mb-MPLE）を導入し、その性質を研究することで、（多項対数因子までの）近似的に最適なミニマックス収束率と整合性（consistency）を証明する。
線形共変量によるCox回帰において、mb-MPLEは$\sqrt{n}$-一致性および漸近正規性を持つことが示され、バッチサイズが増加するにつれて漸近分散が情報下限に近づく。
著者らは実践的なSGDの指針を提示し、Cox-NNにおけるSGDダイナミクスの主要因が学習率とバッチサイズの比であることを強調する。また、全体最適解を近似するために必要な反復収束（iterative convergence）を特徴づける。
mb-MPLEの有効性は、シミュレーションおよび大規模な実データ応用の両方で示されており、そこでは標準的なMPLEが計算的に扱いにくい（tractableでない）。

概要: 確率的勾配降下法（SGD）アルゴリズムは、データのミニバッチを用いてモデルパラメータを更新することで、深いCoxニューラルネットワーク（Cox-NN）を最適化するために広く用いられてきました。本研究では、SGDが標準的な部分尤度とは異なる、ミニバッチ部分尤度の平均を最適化しようとしていることを示します。この区別のためには、グローバル最適化者に対する新しい統計的性質、すなわちミニバッチ最大部分尤度推定量（mb-MPLE）を開発する必要があります。Cox-NNに対するmb-MPLEが整合的であり、ポリログ因子までの範囲で最適なミニマックス収束率を達成することを確立します。線形の共変量効果を伴うCox回帰では、さらに、mb-MPLEが $\sqrt{n}$ -整合的であり、漸近分散がバッチサイズの増加とともに情報の下限へ近づく漸近正規性を持つことを示します。これはシミュレーション研究によって確認されます。加えて、理論解析と数値的証拠に支えられた、SGDの実践的な利用指針も提示します。Cox-NNでは、SGDダイナミクスにおいて学習率とバッチサイズの比が重要であることを示し、ハイパーパラメータ調整への洞察を与えます。Cox回帰では、SGDの反復的な収束を特徴付け、十分な反復回数によりグローバル最適化者であるmb-MPLEを近似できることを保証します。最後に、標準のMPLEが計算困難な大規模な実世界の応用において、mb-MPLEの有効性を実証します。