上司は最近、ローカルAI(LLMs / 似たようなもの)を実行することを目的とした高性能ワークステーションに約$13kを費やしました。私はすべてを適切に設定する方法を見つける任務を与えられました。私たちはどちらも特に技術的に詳しいわけではありません。
私が理解しているところでは、システムには以下が含まれています:
• AMD Threadripper PRO プラットフォーム • NVIDIA RTX PRO 6000 (Blackwell) に 96GB VRAM • 128GB ECC RAM • Gen5 NVMe storage • 現在 Windows を実行中 ここでの主な推進要因の1つはセキュリティ/プライバシーです — 彼は特にローカル優先のセットアップに関心を持っており(Nemoclaw のようなツールを挙げています)、クラウドソリューションを避けています。
セットアップ手順を求めているわけではなく、これを適切に実行できる適切な人を見つけて評価する方法についてのアドバイスを求めています。
具体的には:
• このタイプの仕事に適任な人材はどこで見つけられますか? • 私が探すべき背景はどのようなものでしょうか(MLエンジニア、MLOps、シスアド、など)? • このような仕事を雇う際のリスク・兆候は何ですか? • 彼らが実際に何をしているのかを確認するためにどのような質問をしますか? • これは現実的にリモートで実施できますか、それとも対面の方が良いですか? 上司はできれば東ブランズウィック(ニュージャージー州)周辺の、私たちと対面で協力できる地元の人を強く希望しています。
適切な方法でこの問題に取り組むためのアドバイスを本当にありがたく思います。時間を浪費したり、間違った人を雇ったりしたくありません。
[link] [comments]