Sparse Goodness：選択的計測がフォワード・フォワード学習を変える方法

Abstract

フォワード・フォワード（FF）アルゴリズムは、生物学的に妥当なバックプロパゲーションの代替であり、正のデータと負のデータを区別するための局所的な良さ関数を用いて、ニューラルネットワークを層ごとに逐次的に学習します。その導入以来、総和二乗（SoS）はデフォルトの良さ関数として機能してきました。本研究では、良さ関数の設計空間を体系的に調べ、どのアクティベーションを測定するべきか、またそれらをどのように集約するべきかの両方を検討します。k個の最も活性なニューロンのみを評価するtop-k良さ関数を提案し、それがSoSを大幅に上回ることを示します。具体的には、Fashion-MNISTの精度を22.6パーセンテージポイント改善します。さらに、ハードなtop-k選択を、α-entmax変換に基づく学習可能な疎な重み付けで置き換えるentmax重み付きエネルギーを導入し、追加の改善を得ます。これとは直交に、クラスの仮説を入力でのみ連結するのではなく、専用の射影を通じて各層に注入する別個のラベル特徴フォワーディング（FFCL）を採用します。これらのアイデアを組み合わせることで、4×2000のアーキテクチャによりFashion-MNISTで87.1%の精度を達成し、SoSベースラインに対して30.7パーセンテージポイントの改善となります。良さ関数とラベル経路のみを変更し、他は変えません。良さ関数11種類、2つのアーキテクチャにわたる制御実験、さらにkとαの両方に対する疎性スペクトル解析を通じて、FFネットワークにおける一貫した原理を特定します。すなわち、良さ関数における疎性が最も重要な設計選択であるということです。特に、αが約1.5のときの適応的疎性は、完全に密な場合および完全に疎な場合の両方を上回ります。