Kolmogorov-Arnoldネットワークのための最適化されたアーキテクチャ

概要: 建築上の改良によってコルモゴロフ—アーノルド・ネットワーク（KAN）を改善しようとする取り組みは、それらの改良がもたらす複雑さによって阻まれ、その結果、そもそもKANが魅力的である理由である解釈可能性が損なわれてきました。ここでは、過剰に用意されたアーキテクチャと、疎化（sparsification）、深い監督（deep supervision）、深さ選択（depth selection）を組み合わせることで、精度を犠牲にすることなく、コンパクトで解釈可能なKANを学習することを研究します。重要なのは、原理に基づく最小記述長（minimum description length）目的のもとで、微分可能な仕組みに焦点を当て、活性化、構造、深さをエンドツーエンドで共同最適化する点です。関数近似ベンチマーク、力学系の予測、実世界の予測タスクにまたがる実験により、疎化だけでは不十分である一方、深さ選択との組み合わせによって、より小さなモデルを実質的に発見しつつ、競争力のある、あるいはそれを上回る精度が達成できることが示されます。この結果は、より高い表現力とより高い解釈可能性を兼ね備えたモデルに向けた、原理に基づく道筋を提供し、科学的機械学習における重要な緊張関係に対処します。