勾配ベースの多様体最適化による共同表現学習とクラスタリング

arXiv stat.ML / 2026/4/16

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、高次元データのクラスタリングが難しいという課題に対処するために、次元削減とクラスタリングを同時に行う共同学習フレームワークを提案する。
線形射影やニューラルネットワークのような次元削減手法のパラメータを学習しつつ、勾配ベースの多様体最適化アプローチによりクラスタ割り当ても同時に最適化する。
主要な例として、学習された低次元特徴に対してガウス混合モデル（GMM）を用い、教師なしの線形判別分析（LDA）に対してゆるやかな類似を与えている。
本手法は、シミュレーションした教師なしデータおよびMNISTベンチマークデータセットで評価され、いくつかの既存のクラスタリングアルゴリズムよりも良い結果が得られたと報告されている。
全体として、本研究は多様体最適化を、教師なし設定において射影パラメータとクラスタ構造の双方を共同で探索するための仕組みとして位置づけている。

要旨: クラスタリングと次元削減は、機械学習およびコンピュータビジョンにおいて重要なテーマである。高次元データのクラスタリングは、次元の呪いによって長い間困難であった。そのため、次元削減とクラスタリングの共同学習という、より有望な方向性がある。本研究では、次元削減とクラスタリングを同時に学習するマンifoldラーニングの枠組みを提案する。提案する枠組みは、次元削減手法のパラメータ（例えば、線形射影やニューラルネットワーク）を共同で学習し、その結果得られる特徴に基づいてデータをクラスタリングできる（例えば、ガウス混合モデルの枠組みの下で）。この枠組みは、勾配マンifold最適化（Gradient Manifold Optimization）によってマンifoldをたどることで、次元削減のパラメータと最適なクラスタを探索する。得られた提案枠組みは、非常に単純だが効率的な例として、ガウス混合モデルで例示する。この過程は、ある意味で教師なし線形判別分析（LDA）に類似している。提案手法を、シミュレーションデータの教師なし学習と、ベンチマークの画像データセット（すなわちMNIST）に適用する。実験結果は、我々のアルゴリズムが、文献で広く用いられている人気のクラスタリングアルゴリズムよりも良い性能を示すことを示している。