準同変メタネットワーク（Quasi-Equivariant Metanetworks）

概要: メタネットワークは、下流タスクを実行するために事前学習済みの重みを直接用いて動作するよう設計されたニューラルアーキテクチャである。 しかしながら、パラメータ空間は基盤となる関数クラスの代理にすぎず、パラメータと関数の対応付けは本質的に非単射である。すなわち、異なるパラメータ構成が同一の入出力挙動を生み得る。 この結果、単に生のパラメータのみに依存するメタネットワークは、アーキテクチャに固有の対称性を見落とす危険がある。 したがって、機能的同一性について推論することは、効果的なメタネットワーク設計にとって不可欠であり、アーキテクチャの対称性を尊重するために同変性の原理を取り込んだ、同変メタネットワークの開発が動機づけられている。 しかし、既存の手法は典型的に厳密な同変性を強制するため、剛直な制約が課され、その結果、モデルは疎で表現力が低くなりがちである。 この制約に対処するために、本研究では、新たな概念である準同変性（quasi-equivariance）を導入する。これは、厳密な同変性の剛直さを超えてメタネットワークを動かしつつ、なお機能的同一性を保持できるようにするものである。 本枠組みのための原理に基づく基盤を提示し、フィードフォワード、畳み込み、トランスフォーマネットワークを含む多様なニューラルアーキテクチャにまたがって広く適用可能であることを示す。 実証的評価を通じて、準同変なメタネットワークが、対称性の保持と表現的な表現力との間で良好なトレードオフを達成することを明らかにする。 これらの知見は、重み空間学習に関する理論的理解を前進させ、より表現力が高く機能的に頑健なメタネットワークを設計するための、原理に基づく土台を提供する。