神経計算のためのエネルギーに基づく動力学モデル：学習と最適化

要旨: 制御理論、神経科学、および機械学習の交差領域における近年の進展は、動的システムが計算を実行する新しい仕組みを明らかにしてきました。これらの進展は、概念的・数学的・計算的アイデアの幅広い領域を包含しており、モデル学習と学習（トレーニング）、記憶の検索、データ駆動型制御、最適化などへの応用が見込まれます。本チュートリアルは、これらの課題にわたって、スケーラビリティ、頑健性、エネルギー効率の向上を目指す、神経に着想を得た計算アプローチに焦点を当て、人工システムと生物システムの間のギャップを埋めることを狙います。特に、勾配フロー（gradient flows）とエネルギー地形（energy landscapes）を通じて情報を符号化する、エネルギーに基づく動的モデルに重点を置きます。本チュートリアルではまず、連続時間ホップフィールドネットワークやボルツマンマシンといった古典的な定式化を概観し、その後、この枠組みを現代的な発展へと拡張します。そこには、高容量の記憶のための密な連想記憶モデル、大規模最適化のための発振器（オシレータ）ベースのネットワーク、複合的かつ制約付きの再構成のための近接降下ダイナミクス（proximal-descent dynamics）が含まれます。本チュートリアルでは、制御理論的な原理が、次世代のニューロコンピューティングシステムの設計をどのように導けるかを示し、従来のフィードフォワードやバックプロパゲーションに基づくアプローチを超えて、人工知能に関する議論を先導していきます。