Vision Transformerのフィードフォワードネットワークに対する直交二次補完（Orthogonal Quadratic Complements）

Abstract

視覚トランスフォーマーに対する最近の双線形フィードフォワード置換は、精度を大幅に向上させることができますが、多くの場合、2つの効果を混同しています。すなわち、より強い2次相互作用と、主分岐に対する冗長性の増大です。私たちは補完的な設計原理を研究します。それは、補助的な2次特徴が、支配的な隠れ表現によってすでに捉えられている情報を含まない情報のみを寄与する、というものです。この目的のために、Orthogonal Quadratic Complements（OQC）を提案します。OQCは、低ランクの2次補助分岐を構成し、注入する前にそれを主分岐の直交補空間へ明示的に射影します。さらに、効率的な低ランク実現（OQC-LR）と、ゲーティング拡張（OQC-static および OQC-dynamic）についても研究します。 パラメータを一致させた Deep-ViT および CIFAR-100 のプロトコル（中間直前の残差リードアウトを固定）において、完全な OQC は AFBO のベースラインを 64.25 +/- 0.22 から 65.59 +/- 0.22 に改善します。一方で OQC-LR は 65.52 +/- 0.25 を達成し、速度と精度のトレードオフが実質的により良好です。TinyImageNet では、ゲーティング拡張である OQC-dynamic が 51.88 +/- 0.32 を実現し、ベースライン（50.45 +/- 0.21）を 1.43 ポイント改善、さらにゲーティングなしのあらゆるバリアントを上回ります。メカニズム解析では、射影後の補助−主の重なりがほぼゼロであることに加え、表現の幾何構造とクラス分離の改善が示されます。ゲーティングなしおよびゲーティングありの両方を含む完全なファミリーは、両データセットに対して一貫して汎化します。