高次帰納型から導かれる函子的ニューラルアーキテクチャ

概要：ニューラルネットワークは構成的一般化において系統的に失敗する――既知の部品の新しい組み合わせに対して正しい出力を生成できない。私たちはこの失敗は構造的であることを示す：構成的一般化はデコーダの函子性に等価であり、この視点は保証と不可能性の結果の両方を生む。Higher Inductive Type（HIT）仕様をモノイダル函子を介して、ターゲット空間のパス群oidからパラメトリック写像のカテゴリへ写像することでニューラルアーキテクチャへ組み込む：パス構成子はジェネレータネットワークへ、構成は構造的連結へ、群関係を証明する2-セルは学習された自然変換へ。独立に生成された区間を構造的連結で組み立てたデコーダは厳密なモノイダル函子となる（構成による構成的性質）、一方でソフトマックス自己注意は任意の非自明な組成タスクに対して函子性を持たない。両方の結果はCubical Agdaで形式化されている。3つの空間での実験は全階層を検証する：トーラス（
abla Z^2）上では、函子的デコーダは非函子的なデコーダより2〜2.7倍優れる；S^1 \/ S^1（F_2）上では、タイプA/Bのギャップが5.5〜10倍に拡大する；クライン瓶（
abla Z \rtimes
abla Z）上では、学習済みの2-セルが群関係を行使する語に対する誤差ギャップを46％縮める。