特異学習理論によるシングル・ギブズ事後分布のPAC-Bayes境界

arXiv stat.ML / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、経験リスクに基づいて事前分布を指数的にチルトして得られるデータ依存のパラメータ分布「ギブズ事後分布」に対して、非漸近的なPAC-Bayes一般化境界を明示的に導出する。
従来の最悪の場合の複雑性（メトリックエントロピーに基づく一様収束）による制御ではなく、事後平均化されたリスク境界を用いることで、過パラメータ化モデルにも適用でき、データ構造と本質的なモデル複雑性に適応できる。
境界に含まれるマージナル型の積分を、特異学習理論の手法で解析することで、事後リスクを明示的かつ実用的に特徴づけられるようにしている。
低ランク行列補完やReLUニューラルネットの回帰・分類への応用では、境界が解析的に扱いやすく、古典的な複雑性ベースの境界よりも大幅にタイトであることを示す。
全体として、この研究は、現代の過パラメータ化・特異な学習設定に対して、PAC-Bayes解析が精密な有限サンプル一般化保証を与えうることを示している。

Abstract

我々は、ギブズ事後（Gibbs posteriors）に対する、明示的な非漸近的 PAC-Bayes 一般化境界を導出する。すなわち、経験的リスクで事前分布を指数的に傾けることで得られる、モデルパラメータ上のデータ依存分布である。均一法則（uniform laws of large numbers）に基づく古典的な最悪の場合の複雑度境界とは異なり、そこでは計量エントロピー（積分）によってモデル空間を明示的に制御することが必要となる。本解析では、事後平均（posterior-averaged）のリスク境界が得られ、過パラメータ化されたモデルに適用でき、さらにデータ構造および内在的なモデル複雑度に適応することができる。この境界はパラメータ空間に関する周辺（marginal）型の積分を含み、我々は特異学習理論（singular learning theory）の道具を用いてそれを解析し、事後リスクの明示的で実務的に意味のある特徴づけを得る。低ランク行列補完および ReLU ニューラルネットワークによる回帰・分類への適用により、得られる境界は解析的に取り扱い可能であり、古典的な複雑度に基づく境界よりも大幅に厳しいことが示される。我々の結果は、現代的な過パラメータ化モデルおよび特異（singular）モデルにおいて、有限サンプルの一般化保証を精密に与えるための PAC-Bayes 解析の可能性を浮き彫りにする。