疎な学習と加重サポートベクターマシンによるクラス確率推定

要旨: 分類と確率推定は、生命科学、医学、工学、計算機科学などの分野にまたがり、現代の機械学習とデータサイエンス全般における幅広い応用を持つ、基本的な課題である。重み付きサポートベクターマシン（wSVMs）の最近の発展は、さまざまな問題においてクラス確率を頑健かつ正確に予測し、分類を行う上で有望であることを示してきた（Wang et al., 2008）。しかし、既存の枠組みは
\ell^2-ノルムで正則化された二値wSVMの最適化定式化に依存しており、これは密な特徴を想定したものである。そのため、冗長なノイズを含む疎な特徴が存在する場合には性能が限定的である。有効な疎学習には、各二値wSVMごとにペアごとの条件付き確率を正確に推定するための重要変数の事前選別が必要となる。本論文では、疎学習問題に対して正確な確率推定と自動変数選択を組み込んだ、wSVMの新しいクラスの枠組みを提案する。
\ell^1-ノルム、またはエラスティックネットによる正則化付きwSVMの最適化問題のいずれかを解くことで、変数選択のための効率的なアルゴリズムを開発した。その後、クラス確率は、選択された変数に対して適用する
\ell^2-ノルム正則化wSVMの枠組みによって推定するか、あるいはエラスティックネット正則化wSVMを直接通じて推定する。二段階アプローチは、同時に自動変数選択と信頼できる確率推定器を提供しつつ、計算効率が競争的であるという強い利点をもたらす。エラスティックネット正則化wSVMは、変数選択と確率推定の両方において優れた性能を達成しており、さらに変数のグルーピングという利点も加わる。ただし高次元設定では補償時間（増加した時間コスト）がかかるという代償がある。提案するwSVMベースの疎学習手法は広く適用可能であり、アンサンブル学習によりKクラス問題へ自然に拡張できる。