こんにちは!ローカルで推論を行うために特化したワークステーションを作り終えたところで、セットアップとモデルのおすすめについてぜひご意見を伺いたいと思いました。
•GPU: AMD Radeon AI PRO R9700(32GB GDDR6 VRAM)
•CPU: AMD Ryzen 7 9700X
•RAM: 64GB DDR5
•OS: Fedora Workstation
•ソフトウェア: LM Studio(Vulkanバックエンド)、LLAMAをテストしたい
•パフォーマンス: 現在、単純なプロンプトで安定して約120 tok/sです。(qwen3.6-35b-a3b)
快適に動かせるとおすすめする最大のモデルのアーキテクチャはどれですか? Q4_K_M の量子化に注力すべきでしょうか?
[リンク] [コメント]



