より多くのデータはコストに見合うか？小さな注意のみデコーダにおけるデータセット・スケーリング則

要旨: トランスフォーマー言語モデルの学習は高コストです。通常、性能はデータセットサイズと計算予算の増大に伴って向上します。大規模ではスケーリング則がこの傾向を説明しますが、制御された小規模設定におけるその含意は十分に調べられていません。本研究では、強く縮小した注意機構のみのデコーダ・アーキテクチャを用いて、データセットサイズの効果を切り分けます。2の冪に基づく、次第に大きいサブセットで学習すると、明確な逓減的効果を伴う滑らかな性能向上が観測され、スケーリング則の振る舞いと整合します。学習データの約30%だけを用いても、フルデータに対する検証時のトークンレベル精度のおよそ90%に到達するのに十分です。これらの結果は、制御されたコンポーネント分離の状況におけるデータセット規模のスケーリングに関する、実行可能な洞察を提供し、小規模な研究ラボや探索的なモデル開発など、計算量とデータの制約がある環境で、データセットサイズと計算コストのバランスを取るための実践的な指針をもたらします。