K80からなる6-GPUマルチプレクサ、0.3ミリ秒でモデルをホットスワップ

Boot AI の開発を進めた後、古いビットコインマイニング用ハードウェアをいくつか購入し、古い NVIDIA のカードを動かせるか試してみました。カスタム Linux カーネルモジュールを使って、1つの PCIe スロットを通じて6つの GPU ダイを多重化するシステムを構築しました。読み込まれたモデル間を1ミリ秒未満で切り替えます。

ハードウェア：

- BTC-S37 マイニング用マザーボード（彼が古い GPU マイニング環境を処分するため、eBay で6台まとめて入手しました。）

- NVIDIA K80 カード x3 = 6 ダイ、総計 72GB VRAM

- 合計：およそ200ドルで72GBの GPU VRAM

結果：

- RWKV-X 0.2B (INT8) のデコード 38 トークン/秒

- ダイ間の平均切替時間 0.3ms

- 高速スワップを10回、劣化ゼロ

- 各ダイは自分のモデルを永続的に保持

推論エンジンは純粋な C で、Python 依存は一切なし。まだ初期段階だが、ボード上の8スロットをすべて埋め、モデルをロードして任意に切り替えられるよう、安価なハードウェアで動作させることを目標としている。

なぜ？、より良いハードウェアを手に入れる余裕がなく、動作させるために必要なカーネルオブジェクトを作成できるだけの能力がある。棚にあるこのマザーボードは、これらのカードのいずれも動作させることができない。超楽しいプロジェクトだ。今は最適化して、より良いモデルを動かせるようにする必要がある。