情報幾何学の観点から依存ネットワークを再考する

Abstract

依存ネットワーク（Heckermanら、2000）は、擬似ギブスサンプリングによって、独立に学習された局所条件付き分布を組み合わせることで、多数の変数をもつ複雑なシステムをモデル化するための柔軟な枠組みを提供する。ベイズネットワークやマルコフネットワークに比べて計算上の利点があるにもかかわらず、依存ネットワークの理論的基盤は不完全なままである。主な理由は、それらのモデル分布――擬似ギブスサンプリングの定常分布として定義される――が閉形式の表現を欠いているためである。本論文では、擬似ギブスサンプリングの情報幾何学的解析を構築し、各サンプリング手順を、完全条件付き多様体へのm射影として解釈する。この解釈に基づき、完全条件付きダイバージェンスを導入し、さらに確率分布の空間における定常分布の位置を特徴づける上界を導出する。つづいて、構造学習とパラメータ学習の双方を、各ノードごとに独立な下問題へ分解される最適化問題として再定式化し、学習サンプル数が無限大へ成長するにつれて、学習されたモデル分布が真の基礎分布へ収束することを証明する。実験により、提案する上界が実際にタイトであることが確認される。