選択的推論に基づくクラスタリング・パイプラインの統計的検定フレームワーク

要旨: データ分析パイプラインとは、生データを、複数の分析アルゴリズムを統合することで、意味のある洞察へと変換する一連の手順を構造化したものです。多くの実運用において、分析上の知見は、そのようなパイプライン内でデータ依存の複数の手続きを経た後にのみ得られることがあります。本研究では、データ分析パイプラインによって生成された結果の統計的な信頼性を定量化する問題に取り組みます。実証のための概念実証として、外れ値検出、特徴量選択、クラスタリングといった手続きにより、複雑で多様なデータからクラスタ構造を同定するクラスタリング・パイプラインに焦点を当てます。これらのパイプラインによって得られるクラスタリング結果の有意性を評価するための、新しい統計的検定枠組みを提案します。本枠組みは、選択的推論に基づくものであり、あらかじめ定義された構成要素から成るクラスタリング・パイプラインに対して、妥当な統計検定を体系的に構築できるようにします。提案する検定が、どの名目水準においても第一種の過誤率を制御することを証明し、合成データおよび実データに対する実験を通じて、その妥当性と有効性を実証します。