Transformersは分布的不確実性の下で堅牢なインコンテキスト回帰を学習する

要旨: 近年の研究により、Transformers は i.i.d. データ、ガウスノイズ、およびガウス回帰係数を含む制限的な前提条件の下で、文脈内学習を線形回帰に対して行えることが示されている。しかし、現実世界のデータはしばしばこれらの仮定を満たさない。入力、ノイズ、および係数の分布は通常未知で、非ガウス分布であり、プロンプト全体にわたって依存性を示す可能性がある。これは根本的な疑問を提起します。現実的な分布的不確実性の下で、Transformers は文脈内で効果的に学習できるのだろうか？ 私たちは、非ガウス係数、裾が重いノイズ、および非 i.i.d. プロンプトを含む、広範な分布シフトの下でノイズのある線形回帰における文脈内学習を研究します。 私たちは、対応する最尤基準の下で最適または劣後となる古典的ベースラインと比較します。 あらゆる設定において、Transformers はこれらのベースラインと一致するか、あるいはそれを上回ることが多く、古典的推定器を超える堅牢な文脈内適応を示します。