モジュラー型ニューラルコンピュータ

要旨: 本論文は、変長入力に対する正確なアルゴリズム計算のためのメモリ拡張ニューラルアーキテクチャであるモジュラー型ニューラルコンピュータ（MNC）を紹介します。モデルは、スカラーセルの外部連想メモリ、明示的な読み出しヘッドと書き込みヘッド、コントローラ多層パーセプトロン（MLP）、および同質の機能MLPモジュールの集合を組み合わせます。データからエンドツーエンドでアルゴリズムを学習するのではなく、固定インターフェースと正確な挙動を備えた解析的に指定されたニューラルコンポーネントを通じて、特定のアルゴリズムを実現します。制御フローは、ニューラル計算内部にワンホットモジュールゲートによって表現され、非活性モジュールは抑制されます。計算は、固定グラフによって生成されるメモリ変換のシーケンスとして展開します。本アーキテクチャは、3つのケーススタディを通じて説明されます。配列の最小値の計算、配列をその場でソート、固定の問題インスタンスに対するA*探索の実行。これらの例は、アルゴリズム的手順を外部メモリを持つモジュール型ニューラルコンポーネントにコンパイルしつつ、決定論的な挙動と明示的な中間状態を保持できることを示しています。