情報ボトルネックを低次元問題へ還元する十分統計量の削減

Abstract

条件付き分布 p(C | T) が十分統計量 {}(T) を通じて因数分解されるならば、(T, C) に対する情報ボトルネック（IB）問題は、({}(T), C) に対する IB 問題と厳密に同値であることを示します。この削減は損失がありません：それは完全な IB 曲線、あらゆるトレードオフパラメータ {eta} におけるラグランジアン最適解、および {} を通じた引き戻し（pullback）までの最適表現を保存します。その結果、IB 問題を解くための計算複雑性は、ソースの周辺（ambient）次元ではなく、十分統計量の次元によって支配されます。これは、汎用的な IB 問題が可解（tractable）になる正確な構造的条件を特定すると同時に、離散的な領域と線形ガウス（linear-Gaussian）領域の間を結ぶ形式的な橋を与えます。続いて、Chechik、Globerson、Tishby、Weiss による古典的ガウス IB 解が、この削減の直接の系であることを示し、さらに非線形ガウスへの一般化を述べます。小さな数値例により実際的な帰結を示します：低次元の十分統計量が利用可能な場合、周辺のソース次元ではなく、統計量によって定まる計算コストで、縮約問題上で厳密な IB 曲線を計算できるということです。