予測可能性を情報理論的限界として捉える

要旨: 予測は通常、モデル選択の問題として組み立てられます。本論文はそれよりも前に踏み込み、各ホライズンでどれだけの予測情報が利用可能なのかを問います。対数損失のもとでは、その答えは厳密であり、将来の観測と宣言された情報集合の間の相互情報量は、達成可能な期待損失の最大の低減量に等しくなります。本論文は、その恒等式の帰結を展開します。予測可能性（この相互情報量をホライズンごとに評価して定義する）は、プロセスの依存構造への依存を反映する形状をもつプロファイルを形成し、単調である必要はありません。導かれる3つの構造的性質は、(1) 情報集合の圧縮は予測可能性を低下させることしかできないこと、(2) 有限ラグ・ウィンドウ下のプロファイルと完全履歴下のプロファイルとの差が、厳密な打ち切り誤差の予算を与えること、(3) 周期的な依存をもつプロセスでは、プロファイルが周期性を継承すること、です。予測損失は、情報構造によって固定され不可避な成分と、方法に起因する近似成分に分解されます。それらの比は、方法の妥当性を診断するための正規化された指標である「活用比（exploitation ratio）」を定義します。厳密な等式は対数損失に特有ですが、予測可能性がゼロに近い場合、古典的な不等式から、いかなる損失においてもいかなる方法でも無条件のベースラインを実質的に改善できないことが示されます。本枠組みは、いかなるモデリングの前にも、宣言された情報集合が関心のあるホライズンに対して十分な予測情報を含むかどうかを評価するための理論的基盤を提供します。