混合シグモイドによる効率的なロジスティック回帰

arXiv cs.LG / 2026/4/6

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、オンラインのロジスティック回帰に対して同方（等方）なガウス事前分布を用いた指数重み付け（Exponential Weights; EW）アルゴリズムを解析し、最良の有界線形予測器に対する近最適の最悪ケース損失（レグレット）上界が次数 O(d log(Bn)) で達成されることを示す。
先行研究に比べ計算効率を大幅に改善し、理論的なレグレット保証を同じまま維持しつつ、総最悪ケース計算量を従来の O(B^18 n^37) から O(B^3 n^5) へと低減する。
線形分離可能性のもとで B が大きい領域では、EW の事後分布は（再スケーリング後に）「バージョン錐（version cone）」上で切り詰められた標準ガウス分布へ収束する。これにより予測を、分離を担う方向に対する立体角（solid angle）による投票として幾何学的に解釈できることを示す。
著者らはさらに、非漸近的なレグレット上界を導出し、マージンに依存する閾値を超えるとレグレットが B に依存しなくなり、逆マージンに対して対数的にのみ増大することを示し、性能をマージンの幾何に結び付ける。
総じて本研究は、EW がロジスティック損失を用いたオンライン二値分類において、計算面でも扱いやすく、かつ幾何学的にも適応的であることを主張している。