不確実性と新規性を伴う観測から情報を同定すること
arXiv stat.ML / 2026/4/17
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、不確実性と新規性を含む観測から学習システムがデータ生成過程を同定し、観測データに最も整合する仮説を選択できるようにする方法を扱っています。
- 観測がデータ生成過程に関する仮説を「検証」または「反証」する情報として「同定情報（identifying information）」を定義し、仮説同定の計算に関する情報理論的な特徴づけを与えます。
- 仮説同定とサンプル複雑度を、仮説集合上の指示関数（indicator function）の計算として定義することで、アルゴリズム的情報と確率的情報の概念を橋渡ししています。
- 決定論的な過程からエルゴード的な定常確率過程まで、さまざまなデータ生成の枠組みに対してサンプル複雑度の結果を導き、有限ステップでの同定と漸近統計およびPACラーニングとの関係を示します。
- 固定された有限仮説集合において計算可能なPACベイズ学習器のサンプル複雑度分布は、事前分布に関するモーメントで決まることを示し、必要な計算資源の範囲で所望の精度まで分布を近似可能であることを示します。
