Minkowski weighted k-Meansにおける目的関数と特徴量重みについて

arXiv cs.LG / 2026/3/30

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、特徴量重みとミンコフスキー距離を取り入れて古典的k-meansを拡張したミンコフスキー重み付きk-means（mwk-means）を分析し、実験的に強い性能を示しながらも理論的理解のギャップを埋めることを目的とする。
mwk-meansの目的関数を、クラスター内分散のパワー平均による集約として再定式化し、ミンコフスキー指数pが、どの程度特徴量間で選択的に振る舞うか、あるいは一様に振る舞うかを左右することを示す。
著者らは目的関数値の上・下界を導出し、学習された特徴量重みの構造を特徴付けることで、重みが相対的な分散に依存し、分散比に対してべき法則（power-law）に従うことを証明する。
得られた理論は、高分散（信頼性が低い）特徴量がどのように抑制されるかについて、明示的な保証を提供する。
また本論文は収束性も示し、mwk-meansの挙動に対する統一的な理論的解釈を与える。

Abstract

ミンコフスキー重み付きk-means（mwk-means）アルゴリズムは、古典的なk-meansを拡張し、特徴量の重みとミンコフスキー距離を組み込む。経験的な成功があるにもかかわらず、その理論的性質は十分に解明されていない。われわれは、mwk-meansの目的関数が、クラスタ内分散のパワー平均による集約として表せることを示し、その次数はミンコフスキー指数pによって決まる。この定式化によって、pが特徴量の「選択的な使用」と「一様な使用」の間の遷移をどのように制御するかが明らかになる。この表現を用いて、目的関数に対する上界・下界を導出し、特徴量の重みの構造を特徴付ける。そこでは、特徴量の重みが相対的な分散のみに依存し、分散比に対してべき乗則の関係に従うことが示される。これにより、高分散の特徴量を抑制することについての明示的な保証が得られる。最後に、アルゴリズムの収束を確立し、その挙動に対する統一的な理論的解釈を与える。