ミックスドプレシジョンに基づく分散学習における学習時間予測
arXiv cs.LG / 2026/4/20
📰 ニュースDeveloper Stack & InfrastructureModels & Research
要点
- 分散ディープラーニングでは、資源配分・コスト見積り・ジョブスケジューリングのために学習時間の正確な予測が重要だと述べています。
- 学習時間は浮動小数点の精度設定に強く影響され、最小値に対して約2.4倍の変動が起こり得ることを観察しています。
- 既存の学習時間予測は精度（特にmixed precision）による変化を反映しない固定の計算グラフ前提であり、その結果として予測誤差が大きくなる（MAPE最大147.85%）ことを実験で示しています。
- 精度を考慮した分散学習時間予測器を提案し、mixed precisionを含む多様な精度設定に対して堅牢な精度を達成し、MAPEは9.8%に改善できると報告しています。
