多様な辞書学習（Diverse Dictionary Learning）

要旨: 潜在変数 Z と生成過程 g の双方が未知であり、観測データのみ X = g(Z) が与えられるとします。このとき Z を復元することは、追加の仮定なしには不適切（ill-posed）です。既存の手法の多くは線形性を仮定したり、補助的な教師データや関数制約に依存したりします。しかし、そうした仮定は実際には検証されることがほとんどなく、わずかな違反でも多くの理論的保証が破綻し、「隠れた世界」を確実に理解する方法についての不確実性が残ります。現実のシナリオで識別可能性を実行可能なものにするために、私たちは補完的な見方を取ります。すなわち、完全な識別可能性が達成できない一般的な設定において、保証付きでなお何が回復できるのか、そしてどのようなバイアスを普遍的に採用できるのかを考えます。私たちはこの見方を形式化するために、多様な辞書学習の問題を導入します。具体的には、強い仮定がない場合でも、任意の観測に結び付いた潜在変数の共通部分、補集合、および対称差、ならびに潜在変数から観測変数への依存構造が、適切な不定性（indeterminacies）の範囲でなお識別可能であることを示します。これらの集合論的結果は、集合代数を用いて組み合わせることで、たとえば「属-特異性（genus-differentia）」の定義のような、隠れた世界の構造化され本質的な見方を構成できます。十分な構造的多様性が存在すれば、さらにすべての潜在変数の完全な識別可能性が導かれます。注目すべき点として、識別可能性による恩恵はすべて、推定の際に用いる単純な帰納的バイアス（inductive bias）から生じ、ほとんどのモデルに容易に組み込めます。私たちは理論を検証し、合成データと現実世界のデータの両方において、そのバイアスの恩恵を実証します。