LipKernel：散逸層によるリプシッツ有界畳み込みニューラルネットワーク

Abstract

本稿では、所与のLipschitz（リプシッツ）上界を課すことで組み込みの頑健性保証を含む、新しい畳み込みニューラルネットワーク（CNN）向けの層ごとのパラメータ化を提案する。提案するパラメータ化の各層は線形行列不等式（LMI）を満たすように設計され、その結果として、特定の供給率に関する散逸性（dissipativity）が導かれる。これらの層ごとのLMIを組み合わせることで、ニューラルネットワークの入力-出力写像に対するLipschitz有界性が保証され、スペクトル上界や直交層による方法よりも表現力の高いパラメータ化が得られる。新手法LipKernelは、2次元Roesser型の状態空間モデルを用いて散逸的畳み込みカーネルを直接パラメータ化する。これにより、畳み込み層は学習後に標準形で与えられ、計算オーバーヘッドなしに評価できる。数値実験では、本手法の実行時間が、畳み込みをフーリエ領域でパラメータ化する最先端のLipschitz有界ネットワークよりも桁違いに高速であることを示す。したがって、本アプローチは、ロボティクス、自動運転車、または自動化システムにおける学習ベースのリアルタイム知覚や制御の頑健性を改善するうえで、特に魅力的である。本稿ではCNNに焦点を当てるが、先行研究と対照的に、本手法は、CNNで一般に用いられる多様な層、すなわち1次元および2次元の畳み込み層、最大プーリング層、平均プーリング層、さらにストライド付きおよび拡張（dilated）畳み込み、ゼロパディングにまで対応する。しかしながら、本手法は自然にCNNの枠を超えて拡張でき、増分散逸的（incrementally dissipative）な任意の層を組み込むことが可能である。