期待値最大化(EM)は一般のアグノスティック混合に対して収束する

arXiv cs.LG / 2026/4/8

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、データが生成モデルに従うとは仮定しないアグノスティックな混合適合問題を扱い、選択した損失を最小化することで k 個のパラメトリック関数を当てはめることを目的とする。
  • 先行研究の混合線形回帰に関する結果を一般化し、任意の強凸で滑らかな損失に対して勾配EM(gradient EM)を考察する。これにより、正則化付き混合線形回帰、混合分類器(ロジスティック/SVM)、混合一般化線形回帰といった設定を含む。
  • 適切な初期化と分離条件のもとで、著者らは勾配EMの反復が、高い確率で母集団の損失最小化解へ指数的に収束することを証明する。
  • 本結果はEM型手法の有効性を拡張し、線形回帰の混合を超えて、非生成的でアグノスティックな状況においても(適切に定義された)最適解へ到達できることを示す。

\cite{pal2022learning,ghosh_agnostic} では、データに対する生成モデルを仮定しない非生成(agnostic)設定において、混合線形回帰問題が研究されています。具体的には、データ点の集合が与えられたとき、目的は適切な損失関数を最小化することで
\emph{k 本の直線をフィットする} ことです。このとき、EM の修正版、すなわち gradient EM は、非生成設定においても、適切に定義された損失最小化解へと指数的に収束することが示されます。

本論文では、与えられたデータ点の集合に対して
\emph{k 個のパラメトリック関数をフィッティングする} 問題を研究します。非生成の枠組みに従います。しかし、二次損失を備えた直線をフィッティングする代わりに、強い凸性と滑らかさをもつ任意の損失を備えた任意のパラメトリック関数フィッティングを考えます。この枠組みは、混合線形回帰(正則化付き)、混合線形分類(混合ロジスティック回帰、混合サポートベクトルマシン)および混合一般化線形回帰を含む、広いクラスの問題を包含します。本研究では、この問題に対する gradient EM を提案・解析し、適切な初期化と分離条件があるとき、gradient EM の反復は高確率で、適切に定義された母集団損失最小化解へ指数的に収束することを示します。これは、混合線形回帰以外にも、非生成的な設定において
\emph{最適} 解へ収束する EM 型アルゴリズムの有効性を示すものです。