Apple Neural Engine の Private API を叩いて LLM 推論を高速化しようとした話

こんにちは、村本です。 Qwen3.5 の登場でローカル LLM が現実味を帯びてきた。0.8B から 235B まで揃った高品質なモデルファミリーが Apache 2.0 で公開され、手元のマシンで実用的な推論が可能になっている。ローカル LLM は AI を活用する企業にとって API コストの削減、データの外部送信回避、レイテンシの安定化といった点で重要な選択肢だ。 そして現在、ローカル LLM を動かすデバイスとして最も適しているのは Apple Silicon を搭載した Mac だと僕は考えている。CPU と GPU が統合メモリを共有する UMA アーキテクチャにより、NV...