クラウドからエッジへ：ハードウェア加速対応のシングルボードコンピュータ上でのLLM推論ベンチマーク

Abstract

大規模言語モデル（LLM）は、小さなパラメータ規模でもますます高い能力を示すようになっています。同時に、従来のクラウド中心のデプロイメントは、データのプライバシー、レイテンシ、そしてコストに関する課題を引き起こし、特に運用技術（OT）や防衛環境ではそれらが顕著になります。モデルの蒸留、量子化、そして手頃なエッジ向けアクセラレータの進歩により、単一ボードコンピュータ上でのローカルLLM推論が現実的になりましたが、構成空間の高い次元性のために、構造化された評価なしに最適なデプロイを特定することは困難です。既存のLLM向けエッジベンチマークの取り組みは、CPUのみでの推論に依存していること、本物の単一ボードコンピュータをカバーできていないこと、そしてハードウェア有効性を多次元で評価できない汎用的な評価タスクを用いていることにより制約があります。本論文では、最新の利用可能なハードウェアアクセラレータを用いて単一ボードコンピュータをテストする、IoTに適した4つのエッジプラットフォーム構成にわたって、推論性能とハードウェア効率を同時に評価する多次元ベンチマーク手法を提案します。本研究の結果は、NPUやGPUといったハードウェアアクセラレータを用いる利点に加え、電力効率、物理デバイスのサイズ、トークンスループット間のトレードオフを定量化する多次元評価が、有効な生成AIの導入に向けた実践的な指針を提供することを明らかにしました。これにより、無人車両や携帯可能で耐環境化された運用のような、プライバシーに配慮が必要で接続が制限された環境でのデプロイが可能になります。