ノイズを含む高次元データのためのデータ駆動型バリアショナルクラスタリング・フレームワーク

要旨: 高次元の設定におけるクラスタリングは、特徴量のノイズが深刻である場合、特に「次元のごく一部だけが情報を持ち、最終的なクラスタ数が事前に指定されていない」状況では、依然として困難です。このような領域では、パーティションの復元、特徴の関連性の学習、構造の適応が密接に結び付いており、標準的な尤度ベースの手法は、ノイズの多い次元に対して不安定になったり、過度に敏感になったりし得ます。本研究では、グローバルな特徴ゲーティングと、分割に基づく適応的な構造成長を組み合わせたデータ駆動型の変分クラスタリング枠組みDIVIを提案します。DIVIは、最適化を安定化するための情報的事前分布による初期化を用い、特徴の関連性を微分可能な形で学習し、局所的な診断がアンダーフィットを示す場合にのみモデルの複雑さを拡張します。クラスタリング性能に加えて、計算機的および実務的な振る舞いを明確にするため、実行時のスケーラビリティとパラメータ感度も検討します。実験的に、DIVIは深刻な特徴量ノイズ下でも競争力のある性能を示し、計算可能性を維持しつつ、解釈可能な特徴ゲーティング挙動をもたらすことを見出します。また、難しい設定においては、成長が控えめであり、失敗領域が識別可能であることも示します。総じて、DIVIは完全なベイズ的生成解というよりも、ノイズのある高次元データに対する実用的な変分クラスタリング枠組みとして捉えるのが最適です。