物理的学習に向けた安定的なバックプロパゲーション非依存型ニューラルネットワーク学習のためのローカル学習

Abstract

誤差逆伝播（backpropagation）と自動微分は深層学習の成功を牽引してきたものの、チップ製造における物理的な限界や、深層学習に伴って増大する環境コストが、物理ニューラルネットワークのような代替の学習パラダイムを動機づけています。しかし、既存の多くの物理ニューラルネットワークは、物理システム上で誤差逆伝播や自動微分を実現することが難しいため、学習の大部分をデジタル計算に依存しています。私たちは、誤差逆伝播や自動微分なしで安定したニューラルネットワーク学習を可能にする、順伝播のみの学習フレームワークであるFFzeroを提案します。FFzeroは、順伝播による評価のみを通じて、層ごとの局所学習、プロトタイプに基づく表現、そして方向微分に基づく最適化を組み合わせます。私たちは、誤差逆伝播が機能しない順伝播のみの最適化条件下でも、局所学習が有効であることを示します。FFzeroは、分類と回帰の両方にわたり、多層パーセプトロンおよび畳み込みニューラルネットワークへと一般化できます。シミュレーションしたフォトニック・ニューラルネットワークを例として、FFzeroが、逆伝播なしのインサイチュ物理学習に向けた実行可能な道筋を提供することを実証します。