大規模言語モデルは産業導入において経済的に成り立つのか？

概要: 大規模言語モデル（LLM）によって駆動される生成AIは、医療の意思決定支援、金融分析、企業向け検索、会話型の自動化などの領域で、信頼性、効率性、コスト管理が重要となる状況においてますます産業現場に導入されています。このような環境では、モデルは「正確さだけ」ではなく、エネルギー、レイテンシ、ハードウェア利用率に関する厳格な制約を満たす必要があります。しかし、従来の評価パイプラインは依然として精度中心であり、その結果として、モデル評価における運用および経済的基準の欠如が生じます。これを、Deployment-Evaluation Gap（導入と評価のギャップ）と呼びます。このギャップに対処するために、EDGE-EVALという業界志向のベンチマーク枠組みを提示します。EDGE-EVALは、レガシーのNVIDIA Tesla T4 GPU上で、LLMのライフサイクル全体にわたって評価します。LLaMAおよびQwenのバリアントを3つの産業タスクにわたってベンチマークし、5つの導入指標—経済的損益分岐（Nbreak）、ワットあたり知能（IPW）、システム密度（\r{ho}sys）、コールドスタート課税（Ctax）、量子化忠実度（Qret）—を導入します。これらは、収益性、エネルギー効率、ハードウェアのスケーリング、サーバレス性、圧縮の安全性を捉えることを目的としています。実験結果は、明確な効率のフロンティアを示しています。すなわち、<2Bパラメータのクラスのモデルが、経済的および生態学的な観点の双方で、より大きいベースラインを支配しています。LLaMA-3.2-1B（INT4）は、14リクエスト（中央値）でROIの損益分岐を達成し、7Bモデルよりもエネルギー正規化された知能で3倍高い性能を示し、4-bit量子化のもとで6,900トークン/s/GBを超えます。さらに、効率の異常も明らかにします。すなわち、QLoRAはメモリ使用量を削減する一方で、小規模モデルでは適応のためのエネルギーが最大で7倍に増加し、エッジ導入における量子化を意識した学習（quantization-aware training）に関する従来の前提に挑戦する結果となっています。