肘（エルボー）統計：マルチスケールクラスタリングの統計的有意性

Abstract

クラスタ数の選択は、教師なし学習における根本的な課題である。既存のアプローチは通常、単一の「最適」な分割の特定に焦点を当てるが、多くの場合、複数の解像度にまたがって存在する統計的に意味のある構造を見落としている。私たちは、さまざまな解像度にわたるクラスタリング構造を評価するための一般的な推論フレームワークであるElbowSigを提案する。この手法は、各クラスタ内の異質性（within-cluster heterogeneity）値の系列に基づいて、正規化された離散曲率の統計量として肘（elbow）ヒューリスティックを形式化し、非構造化データの帰無分布に対してその有意性を評価する。これにより、複数のクラスタリング・スケールに対する同時推論を可能にする、解像度ごとの仮説検定が得られる。さらに、帰無統計量の漸近挙動を、大標本および高次元の両レジームで導出し、その極限形とばらつきを特徴づける。ElbowSigは異質性系列のみに依存するため、ハード、ファジー、およびモデルベースの手法を含む幅広いクラスタリング手法と両立する。合成データおよび実データでの実験により、この手続きは非構造化データ下でType-I誤りを制御しつつ、多重スケールの組織（organization）を検出するための検出力を提供することが示され、単一解像度の選択基準では見逃されがちな構造が明らかになる。