ランダム化アルゴリズムによる逐次回帰学習

Abstract

本論文は、「ランダム化SINDy（randomized SINDy）」と呼ばれる、時間依存構造をもつ動的データ向けの逐次機械学習アルゴリズムを提示する。これは確率的アプローチを採用しており、関数解析の数学的理論により、PAC学習特性が厳密に証明されている。このアルゴリズムは、学習した予測子の確率分布を用いて動的に予測を行い、勾配降下法と確率密度として正当なものを維持するための近接（proximal）アルゴリズムによって重みを更新する。Bruntonら（2016）のSINDyに着想を得て、特徴量の拡張（feature augmentation）とチホノフ正則化（Tikhonov regularization）を組み込んでいる。多変量正規の重みの場合、パラメータ推定に焦点を当てるため近接ステップは省略する。アルゴリズムの有効性は、実世界のデータを用いた回帰および二値分類に関する実験結果によって示される。