Silhouette Loss：深い表現のための微分可能なグローバル構造学習

Abstract

識別的表現を学習することは、教師あり深層学習における中心的な目標である。分類において主流の目的関数は交差エントロピー（CE）であるが、それは埋め込み空間における内クラスのコンパクトさやクラス間の分離といった望ましい幾何学的性質を明示的には強制しない。既存のメトリック学習アプローチ、たとえば教師ありコントラスト学習（SupCon）やプロキシベースの手法は、この制約に対処するために、ペアワイズな関係またはプロキシに基づく関係を用いることで対応する。しかしながら、それらはしばしば計算コストと複雑性を増大させる。本研究では、クラスタリング分析における古典的なシルエット係数に着想を得た新しい微分可能な目的関数であるSoft Silhouette Lossを導入する。ペアワイズ目的とは異なり、提案手法の定式化は、各サンプルをバッチ内のすべてのクラスに対して評価し、グローバル構造に関するバッチレベルの概念を与える。提案する損失は、軽量性を保ちながら、サンプルを競合するクラスよりも自クラスに近づけることを直接的に促す。Soft Silhouette Lossは交差エントロピーとシームレスに組み合わせられ、また教師ありコントラスト学習とも補完的である。局所的なペアワイズ整合性とグローバルなクラスタ構造を同時に最適化するハイブリッド目的を提案し、それらを統合する。7つの多様なデータセットに対する大規模な実験により、次が示される。（i）Soft Silhouette LossでCEを拡張すると、CEや他のメトリック学習のベースラインに対して一貫して改善する。（ii）ハイブリッド定式化はSupCon単独よりも高い性能を示す。（iii）組み合わせ手法は最良の性能を達成し、平均トップ1精度を36.71%（CE）および37.85%（SupCon2）から39.08%へと向上させつつ、計算オーバーヘッドは大幅に低いままである。これらの結果は、古典的なクラスタリングの原理を深層学習のための微分可能な目的関数として再解釈できることを示唆しており、表現空間における局所およびグローバルな構造の両方を効率的に最適化可能にする。