知識蒸留による事前学習済みネットワークからの線形化モデルの抽出
arXiv cs.LG / 2026/4/9
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、コープマン作用素理論と知識蒸留を組み合わせて、既存の事前学習済みニューラルネットワークから線形化された分類モデルを抽出するための枠組みを提案する。
- 目的とするのは、単純な非線形前処理ステップの後に、線形演算のみが可能または望ましい状況である。これはフォトニック集積回路や光学ハードウェアの発展に動機づけられている。
- MNISTおよびFashion-MNISTでの実験により、得られた線形化モデルは、従来の最小二乗に基づくコープマン近似よりも高い分類精度を達成することが示される。
- 著者らはさらに、基準となる手法に比べて数値的安定性が向上したことも報告しており、線形化された定式化に対してより信頼性の高い学習・推論が可能であることを示唆している。
