ゲーティングは曲率を可能にする：注意における幾何学的表現力ギャップ

要旨: 乗法的ゲーティングはニューラルアーキテクチャで広く用いられており、大規模言語モデルにおける性能と学習の安定性を改善するために、近年では注意層にも適用されている。ゲート付き注意の成功にもかかわらず、ゲート付き注意メカニズムの数学的含意は十分に理解されていない。私たちは、出力をガウス分布の平均パラメータとしてモデル化し、誘導されるフィッシャー・ラオ幾何を解析することで、表現の幾何によって注意を研究する。ゲートなし注意演算子は、そのアフィン構造によって固有に平坦な統計マニフォールドに制限される一方、乗法的ゲーティングは非平坦な幾何、すなわちゲートなし設定では到達不可能な正の曲率をもつマニフォールドを含むものを可能にすることを示す。これらの結果は、ゲートなし注意とゲート付き注意の間に、幾何学的な表現力のギャップが存在することを確立する。実験的に、ゲート付きモデルは、表現の曲率が高く、非線形の決定境界を要する課題で性能が向上することを示す。これに対し、線形の決定境界をもつ課題では一貫した優位性は示されない。さらに、曲率が合成の過程で蓄積される構造化された領域を同定し、その結果として系統的な深さ増幅（depth amplification）効果が生じることを明らかにする。