時間単価は怖く見えませんでした。つらかったのは、同じジョブをもう一度実行し、同じモデルをもう一度読み込み、同じミスに対してまた支払うことでした。
なぜこれがすぐに高くなるのか
- 弱いセットアップはジョブを遅くするだけでなく、失敗をより高くつかせます
- リトライが静かに実費を何倍にも増やす
- 安い時間課金は、ジョブが何度も失敗しなければ問題なく見える
- 人は紙の上で1回の実行を比較して、繰り返される実行の醜い現実を無視する
そのミス
多くの人は最安の時間課金カードにばかり注目して、本当のコストを見落とします。モデルの再読み込み、ジョブの再実行、そして同じ失敗パターンにより、もう一晩を浪費することです。
実務上のルール
- 小規模なジョブ、低い失敗リスク、シンプルな実験にはRTX 4090を使い続ける
- リトライやリスタートが当たり前になってきたらA100 80GBへ移行する
- H100を評価するのは、ワークロードがすでに明らかに巨大な場合だけ
簡単な結論
時間単価が安く見えていても、同じジョブが別のリトライを食い続けているなら、高くなったのはモデルではありません。繰り返される失敗が原因です。
