Decoupled Descent（分離型降下）：近似メッセージパッシングによる厳密なテスト誤差の追跡

要旨: 現代のパラメトリックモデルの学習では、フルバッチ勾配降下法（およびその変種）は、学習データの厳密な実現に向けて徐々に強まるバイアスのために問題を抱えます。これにより、「一般化ギャップ」と呼ばれる体系的な現象が生じ、そこで学習誤差がテスト誤差の信頼できる代理指標になりません。既存の手法は、このギャップは複雑な解析により良性であると主張するか、データを検証セットに割り当てることで犠牲を払います。これに対して本研究では、DD（decoupled descent：デカップルド降下）という、新しい理論に基づく学習アルゴリズムを導入します。DDは、学習誤差が漸近的にテスト誤差を追跡することを強制する、学習―テストの恒等式（train-test identity）を満たし、スタイライズされたガウス混合モデルの設定において成立します。この特定の領域では、近似メッセージパッシング理論を活用することで、DDはデータ再利用に起因するバイアスを反復的に打ち消し、ゼロコストな検証と100\%のデータ利用が可能であることを厳密に示します。さらにDDは、低次元の状態進化（state evolution）に関する漸化式によって支配されるため、アルゴリズムのダイナミクスが明確で、解析可能です。DDをXOR分類で検証すると、GD（勾配降下法）よりも優れた性能が得られます。加えて、ノイズを加えたMNISTと、CIFAR-10に対する非線形なプロービングを実装し、スタイライズされた仮定を緩めた場合でも、DDがGDに比べて一般化ギャップを縮小することを示します。