みなさん、こんにちは。
私はローカルの LLM にまだ慣れておらず、Claude Code を oMLX にローカルで接続してセットアップしました。私は M4 Max 40コアと 64 GB の RAM を搭載しています。
Qwen 3.5 27B と 35BA3B を、どちらも 8ビット量子化で素早くベンチマークしたいと思いました。パラメータを設定せず、次の指示で試してみました: 「小さなウェブベースのボンバーマンゲームを作ってください」。
それぞれ約3〜10分かかりましたが、結果は完全にプレイ不能でした。問題を説明する2〜3回のプロンプトを経ても、ゲームは動作しませんでした。以降の各プロンプトは、出力までの時間を大幅に長くします。さて、以下を理解したいです:
1- コード生成向け LLM を素早くベンチマークするにはどうすればよいですか? 私のプロンプトはローカル LLM の知性・能力には弱すぎましたか? 期待値をどう設定すべきですか? 2- 設定面で何か不足していますか? より高品質のために文脈長を調整するなど? 私はそこに何も設定したかさえ分かっていません… 3- 同様のマシンをお持ちなら、おすすめのモデルはありますか?
皆さん、どうもありがとうございます。
[リンク] [コメント]



