超球面フォワード・フォワード（HFF）とプロトタイプ表現

Abstract

フォワード・フォワード（FF）アルゴリズムは、バックプロパゲーションに対する魅力的で生物に着想を得た代替手法を提示している。しかし、学習は効率的である一方で、推論プロセスが計算的に極めて負荷が高く、評価する各クラスごとに別個のフォワードパスが必要となる。そこで本研究では、この重要なボトルネックを解消する新しい手法であるハイパースフェリカル・フォワード・フォワード（HFF）を提案する。我々の中核となる革新は、各層の局所目的を二値の適合度（goodness-of-fit）タスクから、ハイパースフェリカルな特徴空間上での直接的な多クラス分類問題へと作り直すことである。これを、幾何学的アンカーおよび暗黙のネガティブとして働くクラス固有の、単位ノルム（unit-norm）プロトタイプ群を学習することで実現する。このアーキテクチャ上の工夫により、局所学習の利点を維持しつつ、重み更新と推論を単一のフォワードパスで可能にする。これにより、元のFFアルゴリズムよりも>40倍高速となる。本手法は実装が簡単で、現代的な畳み込みアーキテクチャへも効果的にスケールし、標準的な画像分類ベンチマークで優れた精度を達成してバックプロパゲーションとの差を埋める。とりわけ注目すべき点として、我々はImageNet-1kにおいてトップ1精度が25%以上を報告する、最初期の貪欲なローカル学習手法の一つであり、さらに転移学習により65.96%を達成している。