コストを抑えてより良く拡張する：アクティブな実験選択による予算効率の高いスケーリング則フィッティング

概要: スケーリング則は数百万ドル規模の学習実行を計画するために使われますが、それらの法則を当てはめること自体が数百万ドルのコストを要する場合があります。現代の大規模ワークフローでは、十分に情報量のあるパイロット実験の集合を組み立てることは、単なる通常の前処理ステップというより、すでに主要な予算配分問題になっています。本研究では、スケーリング則の当てはめを、予算を考慮した逐次的な実験設計として定式化します。すなわち、不均一なコストを持つ実行可能な実験の有限プールが与えられたとき、高コストなターゲット領域における外挿精度を最大化するように、どの実行を行うかを選びます。さらに、ターゲット領域の外挿に最も役立つ実験へと逐次的に実験予算を配分するための、不確実性を考慮した手法を提案します。スケーリング則タスクの多様なベンチマークにおいて、本手法は古典的な設計ベースのベースラインを一貫して上回り、総学習予算の約10%のみを用いながら、実験集合全体に対して当てはめを行う場合の性能にしばしば近づきます。コードは https://github.com/PlanarG/active-sl で公開しています。