勾配最適化による線形判別分析

Abstract

線形判別分析（LDA）は、ガウス混合においてベイズ最適性を達成する、基本的な分類および次元削減手法ですが、共分散行列を信頼性高く推定できない高次元環境ではしばしば苦戦します。本研究では、スケーラブルな勾配ベース最適化により低ランクの精度行列を学習する、勾配最適化によるLDA（LDA-GO）を提案します。この手法は、データ駆動型の構造診断を用いて、ガウス尤度と交差エントロピー損失のいずれかを自動的に選択し、ユーザによる調整なしに信号構造に適応します。勾配計算は二次サイズの中間行列を一切回避し、各反復あたりの計算コストを次元数に対して線形に保ちます。理論的には、本手法の目的関数の凸性、ベイズ最適性、ならびに過剰誤差の有限標本境界といった複数の性質を証明します。数値的には、さまざまなシミュレーションと実データ実験を行い、LDA-GOが他のLDA派生手法の多くの設定において優位であること、特に疎な信号を伴う高次元の状況で有効であることを示しました。