統計力学の観点から見るガウス混合モデルとノンパラメトリック尤度

要旨: 本研究では、統計力学の観点から、ガウス混合モデル（{\it abbrv} GMM）と、関連するノンパラメトリック最大尤度推定（{\it abbrv} NPMLE）問題を調べます。特に、NPMLE手順に対して、最先端の状況を大きく超える安定性保証を確立します。決定的には、NPMLE推定量と真の分布（ground truth）との間のクルバック・ライブラー（Kullback-Leibler）ダイバージェンスに関する保証を得ます。この種の結果は、この問題に関する文献で難しいことが知られています。
特に、NPMLEと真の密度の間のKLダイバージェンスに対し、高い確率で成り立つ上界を、
\min\big\{\frac{(\log n)^{d+2}}{n} , \frac{\log n}{\sqrt n}\big\} のオーダーで与えます。これは、n と d の相対的な大きさの幅広いシナリオをカバーします。さらに、NPMLE問題に対する近似解についても同様の保証を得ます。これは、現実的には、最適化アルゴリズムを有限時間で停止する必要があり、その結果として真のNPMLEの近似にしかアクセスできない状況に対応するものです。アプローチの技術的な基盤となるのは、ガウス混合密度の対数に関する関数クラスの複雑性の解析です。これにより、それらの（不）有界性を扱うことができ、より広い関心を引く可能性があります。
加えて、NPMLE問題における安定性の現象と、統計力学モデルのランダムエネルギー地形における混沌（chaos）や複数の谷（multiple valleys）といった概念との対応関係を確立します。これらの対応関係は、統計と機械学習における多様なランダム最適化問題に有用である可能性があると考えています。とりわけ、これらのモデルに対する集中現象やラ ンジュバン（Langevin）ダイナミクスの技術的な構成要素とのつながりが重要です。