最近、ローカルでLLMを動かすことに取り組み始めました。先週、地元のMicrocenterでIntel Arc B60 Proを買いました。NVIDIAが市場のリーダーであること（控えめに言っても）や、互換性と機能のためにあらゆるものがNVIDIAを中心に作られていることは理解していますが、私は企業としてNVIDIAを支援したくありません。24GBのVRAMがたった$650で手に入るのは、かなりお得な買い物だと感じました。YouTubeの内容を見たり、オンラインでIntelのカードを動かすのにいくつか課題があったという話を読んだりはしましたが、私はある程度技術的でいじるのが好きなので、面白そうだと思いました。
私は、intel/llm-scaler、SearchSavior/OpenArc、intel/ai-containers、そしてオンラインで見かけたランダムな投稿などを使って、動くようにするために何時間も費やしました。これらのさまざまな解決策で、仮想化とベアメタルの両方を試し、ドキュメントで推奨されていたさまざまなバージョンのUbuntu Serverに加えて、あるときはWindows 11でも試しました。手順のどこかで特に挙げられていた、かなり限定的なDeepseekモデルなら動かせたのですが、それでも実際に使いたいモデルを読み込もうとしてからは、元の動作するモデルがうまく動かせないという問題が起きました。
自分が頭がおかしくなるほどのことをしているように感じました。「なんでこんなに難しいんだ？」と。そこで昨夜、健全性チェックとして、プライマリのデスクトップからRadeon RX 9070XTを取り外して、ローカルAIサービスをホストする予定のシステムに入れました。見つけたガイドに従って、ROCm対応のOllama（ベアメタル、Ubuntu 25.10 Server）をインストールするところまでを手順どおりに進めたところ、すぐにモデルが動作し、さまざまな「Ollama」モデルを簡単に切り替えられるようになりました。HFから何かを引っ張ってくることは試しませんでしたが、その部分も大して難しくないはずだと思います。
みなさんの中で、B60 Pro、あるいは他のBattlemageカードをうまく活用してローカルLLMホスティングができた方はいらっしゃいますか？できたなら、どんな方法で運用していますか？セットアップの体験は、私と同じくらい大変でしたか？
この手のものに関するAMDのサポートは厳しいと言われているにもかかわらず、私はたった数時間で簡単に動くようにできました。IntelとAMDの間には本当にそんなに大きなギャップがあるのでしょうか？NVIDIAはどんな形でも支援したくないことを踏まえると、AMD側で一番コスパが良いのはRadeon R9700（だいたい$1300）を買うことですか？それとも、探すべき特定の中古カードがありますか？RX 9070XTの16GBでは動かせない、もっと大きいモデルを読み込みたいです。そうでなければ、RX 9070を買って終わりにしていると思います。みなさんはどう思いますか？
[link] [comments]
