オンライン推論による階層的潜在構造の学習

要旨： 学習システムは、経験全体にわたる一般化と、タスク関連の細部の識別との間でバランスを取らなければならない。したがって効果的な学習には、両方を支える表現が必要である。オンライン潜在原因モデルは逐次推論をサポートするが、平坦な区分を仮定する一方、階層ベイズモデルは多層構造を捉えるが通常はオフライン推論を必要とする。我々は、階層オンライン学習による多尺度経験構造（HOLMES）モデルを導入する。これはオンライン推論を介した階層的潜在構造学習のための計算的フレームワークである。HOLMES は、ネストされた中国レストラン過程（CRP）事前分布の変種と逐次モンテカルロ推論を組み合わせ、潜在構造に対する明示的な監督なしに、階層的潜在表現に対する試行ごとの推論を計算的に扱いやすい形で実行する。シミュレーションでは、HOLMES は平坦なモデルの予測性能と同等でありつつ、より圧縮された表現を学習し、より高レベルの潜在カテゴリへのワンショット転送を支援した。ネストされた時間的構造を含む文脈依存タスクでは、HOLMES は平坦なモデルと比較してアウトカム予測を改善した。これらの結果は、逐次データにおける階層構造を発見するための、扱いやすい計算フレームワークを提供する。