M5 Max 実際のプリフィル性能向上

アップルが「ピークGPU AI演算が4倍」と言っている理由が分かった気がします。大量の電力を数秒間投入するようにしているからです。なので、性能の半分はAIアクセラレータから、もう半分は（あるいはAIアクセラレータがより多くの電力を消費していて）ワット数を多めに突っ込むことで出ているように見えます。

リリース内容:
"各GPUコアにNeural Acceleratorを搭載し、統合メモリ帯域幅を向上させたことで、M5 ProおよびM5 Maxは、従来世代と比べAIにおけるピークGPU演算が4倍超になっています。"

これは短い、バースト的なプロンプトには良いと思いますが、長いプロンプトでは速度向上は薄れていくのではないかと想像しています。

追加でテストしたところ、最適ポイントはだいたい16Kトークンあたりで、偶然にもそれはアップルが脚注でテストしていた値でした：

1. 2026年1月および2月にアップルが、Apple M5 Max（18コアCPU、40コアGPU、128GBの統合メモリ）を搭載した16インチの量産前MacBook Proシステム、Apple M4 Max（16コアCPU、40コアGPU、128GBの統合メモリ）を搭載した16インチの量産MacBook Proシステム、さらにApple M1 Max（10コアCPU、32コアGPU、64GBの統合メモリ）を搭載した16インチの量産MacBook Proシステム（いずれも8TB SSD構成）で実施したテスト。4ビット重みとFP16アクティベーション、mlx-lmおよびMLXフレームワークを使用した、14 billionパラメータのモデルに対し、16Kトークンのプロンプトで測定した最初のトークンまでの時間です。性能テストは特定のコンピュータシステムで実施されており、MacBook Proの概ねの性能を反映します。

ついでに、推論の合間に10秒のクールダウンを入れて、熱テストも少しやりました。