Transformersはミラーデセントによって文脈内で潜在混合モデルを学習する

概要: シーケンスモデリングでは、文脈とそれらの重要性から、過去のどのトークンが因果的に関連しているかを決定する必要があります。これはトランスフォーマの注意（attention）層に内在するプロセスですが、その根底にある学習された仕組みは、いまだ十分に理解されていません。本研究では、Mixture of Transition Distributions（遷移分布の混合）に基づく枠組みを導入することで、トークンの重要性を推定する課題を、インコンテキスト学習（in-context learning）問題として形式化します。この枠組みにおいて、潜在変数が、次に対して過去のトークンが与える影響を決定します。この潜在変数に対する分布は、観測されない混合重み（mixture weights）によってパラメータ化されます。これらの混合重みは、トランスフォーマがインコンテキスト内で学習しなければなりません。本研究では、トランスフォーマが文脈からこれらの重みを学習するために Mirror Descent（ミラー降下法）を実装できることを示します。具体的には、Mirror Descent の1ステップを正確に実装する3層のトランスフォーマに関する明示的な構成を与え、得られる推定量がベイズ最適予測器の一階近似になっていることを証明します。この構成と勾配降下（gradient descent）によるその学習可能性を裏付けるとともに、実験的に、スクラッチから学習されたトランスフォーマが我々の理論と整合する解を学習することを示します。すなわち、予測分布、注意パターン、そして学習された遷移行列は、構成と非常に良く一致し、より深いモデルでは、複数ステップの Mirror Descent と同等の性能が得られます。