トランスフォーマーの位相的な問題

要旨: トランスフォーマーは、拡張されていく文脈の履歴を通じて、シーケンス内に構造を符号化する。しかし、その純粋にフィードフォワード型のアーキテクチャは、本質的に動的な状態の追跡を制限してしまう。状態追跡――変化していく環境を反映する潜在変数を反復的に更新すること――には、本質的に逐次的な依存関係が関わるため、フィードフォワードネットワークでは維持するのが難しい。その結果、フィードフォワードモデルは、入力ステップが進むたびに、変化する状態表現をより深い層スタックへと押し込んでしまい、浅い層では情報が参照不能となり、最終的にモデルの深さが尽きてしまう。この深さの制限は、動的深さモデルや、状態表現を外在化する明示的または潜在的な思考によって回避できるものの、これらの解決策は計算的・メモリ効率の面で不利である。本稿では、時間的に拡張された認知には、明示的な思考痕跡から、反復的アーキテクチャによる暗黙の活性ダイナミクスへと焦点を移す必要があると主張する。我々は、再帰的および連続的な思考を行うトランスフォーマー・アーキテクチャの分類法を提示し、それらを、再帰の軸（深さ対ステップ）と、入力トークン数と再帰ステップ数の比によって分類する。最後に、よりよく状態追跡を現代の基盤モデルに統合するための、有望な研究方向として、強化された状態空間モデルや粗視化された再帰などを概説する。