ローカルLLMを用いたRAGとエージェント系システムを学ぶために、触って試せるMacBookを購入することを検討しています。予算には14インチのみが収まります。
M4 Maxは約546GB/sと高いメモリ帯域幅を持ちますが、M5 Proはわずか307Gb/sであり、これはトークン/秒の速度に大きな影響を与えることになります。しかし、M4デバイスのニューラルエンジンに関する情報は公開されておらず、M5 Proには16コアのニューラルエンジンがあります。加えて、M5シリーズのチップが発表された際、AppleはAIワークフローやプロンプト処理速度の改善などについて多くを強調しました。
したがって、今はM4 Maxを選ぶべきか、それともM5 Proを選ぶべきか迷っています!
[リンク] [コメント]

