洗練された情報とモード間相互作用選択によるKL誤差の完全な分解

Abstract

対数線形モデルは、過去数十年にわたって多くの理論的な注目を集めており、離散変数上の確率分布を学習するために用いられる基礎的な道具として現在もなお中心的な位置を占めています。統計力学や高次元統計において非常に広く普及しているにもかかわらず、関連するエネルギーベースモデルの大半はボルツマンマシンやマルコフ確率グラフィカルモデルのような、変数の2変数間の関係にのみ注目しています。これらのアプローチは、より解きやすい構造学習の問題や、より最適化しやすいパラメトリックな分布を可能にする一方で、異なる変数間の高次の相互作用として存在する豊かな構造をしばしば無視しています。情報幾何の分野からのより新しい道具を用いて、我々は、高次のモード相互作用に焦点を当てながら、対数線形モデルの古典的な定式化を再検討します。これは、独立分布の1体モードや、ボルツマン分布の2体モードを超えるものです。この視点により、KL誤差の完全な分解を定義することができます。そこから、取りうるモード相互作用の集合に対してスパースな選択問題を定式化することが動機づけられます。スパースなグラフ選択がより良い汎化を可能にするのと同様に、我々が学習した分布は、実際に利用可能な有限量のデータをより効率的に活用できることが分かります。我々は、MAHGenTaと呼ばれるアルゴリズムを開発します。これは、エネルギーベースモデルに対する新しいモンテカルロサンプリング手法と、統計的頑健性を取り込むための貪欲ヒューリスティックを組み合わせます。合成データセットおよび実世界データセットの両方において、生成タスクにおける対数尤度の最大化に対する我々のアルゴリズムの有効性と、分類という識別タスクへの適応のしやすさを示します。