微分方程式を用いた深層ニューラルネットワークの理論的基盤の理解

要旨: 深層ニューラルネットワーク（DNN）は顕著な経験的成功を収めている一方で、原理的な理論的基盤の欠如がその体系的な発展を妨げ続けている。本調査では、理解・分析・DNNの改善のための理論的基盤として微分方程式を提示します。議論を三つの指針となる問いを軸に整理する：i) 微分方程式がDNNアーキテクチャの原理的な理解を提供する方法、ii) 微分方程式の道具を用いて原理的にDNNの性能を向上させる方法、そして iii) 微分方程式に基づくDNNが恩恵を受ける実世界の応用とは何か。モデルレベルとレイヤーレベルの二重の視点を採用する。モデルレベルは全体のDNNを一つの微分方程式として解釈し、レイヤーレベルは個々のDNN構成要素を微分方程式としてモデル化する。これら二つの視点から、本フレームワークがモデル設計、理論解析、性能向上をどのように結びつけるかを検討する。さらに実世界の応用、および将来の研究のための主要な課題と機会についても議論する。