コミュニティによって提出されたほぼ1万件の Apple Silicon ベンチマーク実行 — データが実際に示すもの

これは、ここにいる多くの人が共有していると思われる苛立ちから始まりました。

現実の参照に最も近いものは、llama.cpp GitHub のディスカッション #4167 でした。実用的で有用ではありましたが、2年間にわたり何百ものコメントがあり、チップでフィルタしたり並べて比較する手段がありません。さらに、それ以外の情報は散在しています。3か月前の Reddit 投稿、誰かの gist、ある人が tok/s を報告し、別の人が「速いと感じる」と報告するなど。いずれも比較可能ではありません。

そこで自分の結果をスプレッドシートに記録していくことにしました。ところがそのスプレッドシートは扱いづらくなりました。
それから私が作ったのは oMLX: Apple Silicon 用 SSD キャッシュ付きローカル推論サーバ で、ベンチマーク提出機能を内蔵しています。

思いがけず進化しました：このアプリはターゲットにしていなかったいくつかのコミュニティで広まった結果、3日で GitHub のスターが約3,800を超えました。ベンチマーク提出は洪水のように寄せられ、現在データセットにはほぼ10,000件の実行が含まれています。

この量のデータがあると、少数の実行からは見えないパターンが浮かび上がってきます：

• M5 Max は Qwen 3.5 122b 4bit の 1k-8k コンテキストで約 1,200 PPトークン/秒を叩き出し、その後 16k まで 1,000 を超え続ける
• M3 Ultra は 1k で約 893 PPトークン/秒で始まり、8k まで一貫して維持した後低下する
• M4 Max はほとんどのコンテキスト長で約 500台にとどまる — 予測可能だが、明らかに別の階層にいる
• 長いコンテキストでのチップ間のクロスオーバーポイントは、ヘッドラインの数値よりも興味深い物語を語る

探索できる直接比較は以下です： https://omlx.ai/c/jmxd8a4

Apple Silicon をお使いでなくても、現時点で最も包括的なコミュニティ出典の MLX 推論データセットだと思います。チップ間の選択を検討している場合や、この規模で現実世界のローカル推論の上限がどう見えるかを知りたいだけでも、一見の価値があります。

もし Apple Silicon をお使いの場合は、すべての実行が他の人の比較をより信頼性の高いものにします。提出は oMLX に組み込まれており、約 30 秒です。

お使いのチップはどれですか？長いコンテキストでのスループット挙動に気づいたことはありますか？