DGX Sparkが届きました—vLLM＋ローカルモデルで動かす予定、アドバイスを探しています

今日はDGX Sparkをセットアップして、ローカルでLLM推論を行うための設定を始めています。

予定は以下を実行することです：

• vLLM • PyTorch • Hugging Faceモデル 

私が作っているアプリケーションのローカルAPIバックエンドとして（教育／分析のユースケース。できるだけすべてをローカル／プライベートに保ちたいと考えています）。

これまで主にクラウドGPUを使ってきたので、オンプレミスでこの手のものを丸ごと動かすのは今回が初めてです。

いくつか気になっていること：

• このハードウェア上で効率よく動かせている人々のおすすめモデルは？ • このような統合メモリシステムでのvLLMのチューニングのコツは？ • 実際のスループットは期待値と比べてどう？ 

同様の構成で動かしている方からの知見があればありがたいです。