RNNの表現力における深さの役割について

arXiv cs.LG / 2026/4/3

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、深さを増やすことがリカレントニューラルネットワーク（RNN）の表現力にどのように影響するかを分析し、パラメータ数に対して効率よくメモリ容量が向上することを示す。
深いRNNは、現在の入力に対してより複雑な変換を可能にするだけでなく、過去の情報の保持を改善することによっても表現力を高めると主張する。
本研究は理論を2RNNにも拡張しており、入力と隠れ状態の間の乗法的相互作用によって多項式的な変換が生じ、その最大次数は深さに応じて増加する。
さらに、一般に2RNNにおける乗法的相互作用は、層ごとの非線形性を単に追加するだけでは効果的に置き換えられないことを示す。
著者らは、合成環境および実世界のタスクの両方に関する実験によって、理論上の主張を裏付けている。

要旨: フィードフォワード型ニューラルネットワークにおける深さの利点はよく知られている。すなわち、線形変換の複数の層を非線形活性化と組み合わせることで、複雑な計算が可能になる。類似の効果はリカレントニューラルネットワーク（RNNs）でも期待されるが、深さが表現力を形作る上で再帰とどのように相互作用するのかは、いまだ明らかではない。ここでは、パラメータ数に対して効率よく深さがRNNのメモリ容量を増大させることを形式的に示し、それによって、より複雑な入力変換を可能にすることと、過去の情報の保持を改善することの両方を通じて表現力を高める。さらに分析を、RNNの一般化である2RNNs（入力と隠れ状態の間に乗法的相互作用を導入するもの）へと拡張する。非線形活性化がない限り線形のままであるRNNsとは異なり、2RNNsは多項式変換を行い、その最大次数は深さとともに増大することを示す。加えて、乗法的相互作用は一般に層ごとの非線形性で置き換えることはできないことを示す。最後に、本洞察を合成タスクおよび実世界のタスクの両方で実験的に検証する。