\cite{pal2022learning,ghosh_agnostic} では、データに対する生成モデルを仮定しない非生成(agnostic)設定において、混合線形回帰問題が研究されています。具体的には、データ点の集合が与えられたとき、目的は適切な損失関数を最小化することで
\emph{k 本の直線をフィットする} ことです。このとき、EM の修正版、すなわち gradient EM は、非生成設定においても、適切に定義された損失最小化解へと指数的に収束することが示されます。
本論文では、与えられたデータ点の集合に対して
\emph{k 個のパラメトリック関数をフィッティングする} 問題を研究します。非生成の枠組みに従います。しかし、二次損失を備えた直線をフィッティングする代わりに、強い凸性と滑らかさをもつ任意の損失を備えた任意のパラメトリック関数フィッティングを考えます。この枠組みは、混合線形回帰(正則化付き)、混合線形分類(混合ロジスティック回帰、混合サポートベクトルマシン)および混合一般化線形回帰を含む、広いクラスの問題を包含します。本研究では、この問題に対する gradient EM を提案・解析し、適切な初期化と分離条件があるとき、gradient EM の反復は高確率で、適切に定義された母集団損失最小化解へ指数的に収束することを示します。これは、混合線形回帰以外にも、非生成的な設定において
\emph{最適} 解へ収束する EM 型アルゴリズムの有効性を示すものです。