Abstract
早期終了型ニューラルネットワークは、確信度の高い予測によって中間層でモデルを離脱(exit)できるようにすることで、適応的計算を可能にし、2-8\times の推論速度向上を実現します。広く導入されているにもかかわらず、その一般化特性については理論的な理解が欠けており、近年の調査(サーベイ)で明確に指摘されています。本論文では、適応深度ネットワークのための統一的な PAC-Bayesian フレームワークを確立します。 (1) 新規のエントロピーに基づく境界:最大深度 K ではなく、離脱深度エントロピー H(D) と期待深度
\mathbb{E}[D] に依存する、最初の一般化境界を証明します。サンプル計算量(サンプルコンプレキシティ)は
\mathcal{O}((\mathbb{E}[D] \cdot d + H(D))/\epsilon^2) です。 (2) 明示的な構成定数:解析により、先頭係数 \sqrt{2\ln 2} \approx 1.177 を導出し、完全な導出を与えます。 (3) 証明可能な早期終了の利点:適応深度ネットワークが固定深度の対応物を厳密に上回るための十分条件を確立します。 (4) 近似ラベル独立性への拡張:ラベル独立性の仮定を、\epsilon-近似ポリシーへと緩和し、学習されたルーティングへの適用可能性を広げます。 (5) 包括的な検証:7 つのベンチマークにおいて 6 つのアーキテクチャで行った実験により、古典的な境界に対しては >100\times であるのに対し、厳密性(タイトさ)の比率が 1.52-3.87\times(すべて p < 0.001)であることを示します。境界に基づく閾値選択は、検証で調整した性能と 0.1-0.3% の範囲で一致します。