勾配降下法で訓練されたトランスフォーマーは、教師モデルのあるクラスを確実に学習できる

要旨: トランスフォーマーは幅広い応用領域で大きな成功を収めているものの、その成功を支える理論的基盤はほとんど解明されていません。本研究では、多様なシナリオやタスクに適用されるトランスフォーマーの強力な能力の正体を明らかにするために、トランスフォーマーを「学習者（student）」として用い、教師モデルのクラスから学ぶことを理論的に検討します。具体的に、我々の解析で対象とする教師モデルには、平均プーリングを伴う畳み込み層、グラフ畳み込み層、ならびに、疎なトークン選択モデルの変種［Sanford et al., 2023, Wang et al., 2024］や、グループ疎線形予測子［Zhang et al., 2025］を含む、さまざまな古典的な統計的学習モデルが含まれます。これらの教師モデルのクラスから学習する際、我々は、簡略化された「位置のみ（position-only）」注意機構を用いた1層トランスフォーマーが、教師モデルのすべてのパラメータブロックを確実に復元できることを証明し、したがって最適な母集団損失を達成することを示します。さらに、訓練済みトランスフォーマーが教師モデルを効率よく模倣することに基づいて、それらが、穏やかな仮定のもとで、分布外データの広いクラスに対しても良好に一般化できることを示します。本解析における鍵は、さまざまな学習タスクに共通する基本的な双線形（bilinear）構造を特定することであり、これにより、トランスフォーマーにとって教師としてそれらのタスクを扱う際に、これらのタスクに対する統一的な学習保証を確立できるようになります。