位置エンコーディングの影響：インコンテキスト回帰におけるトランスフォーマのためのクリーンおよび敵対的ラデマッハ複雑度
arXiv stat.ML / 2026/3/25
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、単層Transformerにおける位置エンコーディングがインコンテキスト回帰の一般化に与える影響を解析し、位置エンコーディングを完全に訓練可能なモジュールとして明示的に扱う。
- 著者らは、位置エンコーディングが訓練性能とテスト性能の一般化ギャップを体系的に増大させることを示す。
- 敵対的設定では、敵対的ラデマッハ複雑度の境界を導出し、敵対的攻撃が位置エンコーディング有り／無しのモデル間の性能ギャップを増幅することを見出す。
- 本研究には、理論的なクリーンおよび敵対的な一般化境界を検証する経験的シミュレーションが含まれる。
- 全体として、本研究は、位置エンコーディングを伴うインコンテキスト学習の頑健性と一般化挙動の両方を理解するための枠組みを提案する。
