独立性検定のための表現学習

概要：
ランダム変数間の依存性を検出する多くのツールが存在する。これは、機械学習、統計、科学的研究の広範な領域での核となる問題である。
十分なサンプル数があれば任意の依存性を最終的に検出できることを保証する統計検定はいくつか存在するが、標準的な検定は、複雑な分布を持つ高次元のランダム変数間の微妙な依存性を検出するには、膨大なサンプル数を必要とする場合がある。
本研究では、強力な独立性検定を学習するための二つの関連した方法を検討する。
第一に、InfoNCE や NWJ などの相互情報量の変分推定量を用いて、有限サンプルで有効性を持つ強力な統計テストを構築する方法を示す。
第二に、これらの変分的相互情報量ベースの検定と、Hilbert-Schmidt Independence Criterion (HSIC) に基づく検定との密接な関係を確立する。具体的には、相互情報量の変分境界を学習すること（通常は深層ネットワークでパラメータ化される）は、HSIC のカーネルを学習することと密接に関連している。
最後に、統計量自体を最大化する表現を選ぶのではなく、いずれの設定においても検定の力を最大化できる表現を選ぶ方法を示す。前者の場合を Neural Dependency Statistic (NDS) と呼ぶ。
文献では最近、HSICのパワー最適化が検討されているが、いくつかの重要な誤解を正し、深層カーネルの検討へと拡張する。
我々の実験では、すべてのアプローチが厳密な有意水準のコントロールを可能とする強力な検定を得ることができる一方、構造化された依存性を検出する難しい問題において、最適化された HSIC テストが一般に他のアプローチを上回る。