[D] 複数データセット上での DL NN の最適パラメータ探索を並列化する方法?

Reddit r/MachineLearning / 2026/3/16

💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisTools & Practical UsageModels & Research

要点

  • 11 個のデータセットと 5 つの DL ネットワークを扱い、それぞれが非 DL ハイパーパラメータのセットを持つ状況を説明しており、モデルとデータセットの組み合わせをすべて網羅的に試したいと考えている。
  • 著者は、この作業負荷を単一の GPU でどのように並列化できるかを問うており、GPU は CPU コアのように分割できないことに留意し、計算を一晩かけて実行する意思を表明している。
  • 二段階のワークフローが説明されており(学習と予測)、並列実行時に上書きを防ぐためにはモデルのチェックポイント・アーティファクトに一意の接尾辞が必要になる。
  • エポック数や許容誤差などのハイパーパラメータへ探索対象を拡張することを検討しており、効率的な戦略について助言を求めている。

5と6のデータセットがあり、合計で11個です。

次に、5つの異なるディープラーニングネットワークのコレクションがあり、それぞれが自分固有の非DLパラメータのセットを持ち、0個から3〜4個までの範囲です。

各パラメータに対して教育的推測のリスト(5〜6個の値)を持っていると想定し、それぞれのDL手法について各データセットでそれらの組み合わせをすべて試したいと思います。計算を一晩放置しておくのも構いません。この問題をどう解決しますか?これらを1つのGPUで非逐次的に並列に計算する方法はありますか?

* 各実行には2つのフェーズがあります:学習と予測で、両者の間でモデルのチェックポイントアーティファクトが受け渡されます。これらには上書きされないよう、特別なサフィックスを付ける必要があると思います。

* 主な問題は、単一のGPUという点です。CPUのように論理コアを使って分割できるような方法はないと思います。11個のデータセットそれぞれが1コアを占有する非DL/NN手法でこのタスクを完了したことがあります。GPUがボトルネックになるようです。

* エポック数や許容誤差など、DLパラメータも走査してみるべきでしょうか?

この作業を効率的に行うには、誰かアドバイスはありますか?

投稿者 /u/Mampacuk
[リンク] [コメント]