AutoScout: MLシステム設定の自動化を実現する構造化最適化

要旨：機械学習（ML）システムは、モデル並列性戦略、通信最適化、および低レベルのランタイムパラメータにわたる急速に拡大する設定空間を公開します。エンドツーエンドのシステム効率はこれらの選択に非常に敏感ですが、異質な特徴タイプ（例えば、疎パラメータと密パラメータ）、条件付き依存関係（例えば、特定の上流の意思決定の下でのみ有効な実行パラメータ）、および高い探索（プロファイリング）コストのため、高性能な設定を識別することは困難です。既存のアプローチは、設定次元の狭いサブセットを最適化するか、設定空間の拡大を続けるにつれて一般化に失敗するアドホックなヒューリスティックに依存しています。我々は、MLのトレーニング、ファインチューニング、推論のための汎用的なシステム設定ツールとして AutoScout を提案します。これにより、システム設定を階層的依存関係を持つ混合離散/連続最適化問題として定式化し、疎な構造的決定と密な実行パラメータを同時に洗練させるハイブリッド最適化フレームワークを導入します。プロファイリングコストを削減するために、AutoScout は影響度の高い設定機能を適応的に優先し、忠実度の異なるシミュレータを組み合わせます。さまざまなモデル、ハードウェアプラットフォーム、およびデプロイメント目的にわたり、AutoScout は一貫して高性能な設定を特定し、専門家が調整した設定よりも 2.7〜3.0倍のトレーニングスピードアップを達成します。