シリコン対決：コンシューマー向けLLM推論における性能・効率・エコシステム障壁

Abstract

ローカルの大規模言語モデル（LLM）推論における運用環境は、軽量モデルから、70Bパラメータを超えるデータセンタークラスの重みへと移行しており、消費者向けハードウェアに対して深刻なシステム上の課題をもたらしている。本論文では、NvidiaおよびApple Siliconのエコシステムについて、これら巨大モデルを導入するために必要となるアーキテクチャ内の、異なるトレードオフを具体的に特徴付けることを目的として、体系的かつ実証的な分析を提示する。NvidiaのBlackwellアーキテクチャでは、TensorRT-LLMスタック内に「Backend Dichotomy（バックエンドの二分性）」と呼べる重要な分岐を特定する。すなわち、新しいNVFP4量子化フォーマットは、最適化されたBF16のベースラインに対して1.6倍のスループット優位（151 tokens/s 対 92 tokens/s）をもたらすが、この性能を実現するには、生成速度のためにスタートアップレイテンシを犠牲にするような、複雑な実行時制約を切り抜ける必要がある。さらに、70B+モデルに対する「VRAM Wall（VRAMの壁）」を特徴付ける。離散GPUでは、ユーザは、VRAMに収めるためにモデルの知能を低下させる攻めた量子化（例: Q2）と、PCIeによるボトルネックを伴うCPUオフロードとの間で破壊的な選択を迫られ、全GPU実行と比べてスループットは90%以上低下する。これとは対照的に、Appleの統一メモリアーキテクチャ（UMA）はこれらのボトルネックを回避し、実用的な4-bit精度で80Bパラメータモデルに対して線形スケーリングを可能にする。このアーキテクチャ上の相違は、運用の持続可能性にも及び、AppleのSoC設計はエネルギー効率（tokens/joule）において最大23倍の優位を示す。結論として、消費者向け推論における最適なハードウェアは、計算密度（Nvidia）とメモリ容量（Apple）という複雑な相互作用によって定義され、さらに独自の量子化ワークフローに起因する大きな「エコシステム摩擦」によって調整される、ということがわかった。