K 平均法は基本的にRBF（放射基底関数）ネットワークです
私は、離散的なアルゴリズムの代わりに、K 平均法を連続最適化問題として定式化することに取り組んできました。発想は、ハードな割り当てをソフトな責務（responsibilities）に置き換え、クラスタリング構造を保持しつつ、システムを完全に微分可能にして、エンドツーエンドで学習可能にするような滑らかな目的関数を定義することです。
主な結果は、ガンマ収束の解析を示し、この目的関数がゼロ温度極限で標準のK 平均法を回復することを示した点です。つまり、通常の交互更新は本質的なものではなく、平滑化が消えるときに連続的な変分問題から自然に現れるのです。
これにより、放射基底関数ネットワーク（Radial Basis Function networks）との正確な対応も得られます。この定式化では、中心（centers）、割り当て（assignments）、損失（loss）が同一の目的関数の一部になっており、クラスタリングとニューラルモデルの違いは、滑らかさのレベルに過ぎません。
私が興味深いと感じる点の1つは、クラスタリングを別のブロックとして扱う必要がなくなることです。原理的には、より大きなモデルの中に直接埋め込んで同時に最適化できるのですが、実際にそれがどれほど安定で有用かは自明ではありません。
両方の観点から批判的なフィードバックをいただけると嬉しいです。理論面では、変分の議論が本当にタイトなのか、それとも見落としているエッジケースがあるのか。実践面では、クラスタリングをエンドツーエンドの見方で捉えることが、実際に人々が使うものなのか、それとも標準のK 平均法の方が実システムでは厳密に優れているのか。
[link] [comments]
