データ制約下の学習における処方的（プレスクリプティブ）スケーリング則

概要: 学習計算（トレーニング計算リソース）は、質の高いデータの利用可能性をますます上回るようになってきています。これにより、中心的な課題は最適な計算配分の割り当てから、限られたデータから最大限の価値を引き出すことへと移っています。広く採用されているChinchillaのスケーリング則は、すべての学習トークンが一意であることを前提としています。これにより、データが制約される状況での事前学習（pretraining）の意思決定を導く能力が制限されます。私たちは、反復（repetition）による過剰損失を、単純な加法的な過学習（overfitting）ペナルティでモデル化し、そのモデルがモデル挙動を正確に記述することを見出します。私たちのスケーリング則は、計算最適な配分（compute-optimal allocation）に関する定性的に新しい助言を与えます。ある点を超えると、さらなる反復は逆効果になり、計算はモデルの容量（capacity）により有効に使われます。私たちは、スケーリング則が推奨する構成に従うことで、データが制約された状況における性能が向上することを示します。最後に、パラメータが1つのこの形式は過学習を単一の係数に分離するため、学習構成間での直接比較が可能になります。ケーススタディとして、強いウェイト減衰（\lambda=1.0）がこの係数を約70%低下させることを示します。これは、データが制約された状況における最適なウェイト減衰は、標準的な実践よりも1桁大きい、という最近の知見に対して、スケーリング則による説明を与えるものです。