大規模言語モデルにおけるリソース消費の脅威

要旨: 限られた資源と高コストの計算基盤を前提とすると、リソース効率性は大規模言語モデル（LLMs）にとって重要な要件です。効率的なLLMsは提供者のサービス容量を向上させ、ユーザーの待機時間（レイテンシ）とAPIコストを低減します。最近のリソース消費の脅威は過剰な生成を誘発し、モデルの効率を低下させ、サービスの可用性と経済的持続性の双方を損ないます。本調査は、LLMsにおけるリソース消費の脅威を体系的にレビューします。さらに、この新興分野に対する統一的な見解を確立するために、その範囲を明確にし、脅威の誘発から機序の理解と緩和までの全体的なパイプラインに沿って問題を検討します。我々の目的は、この新興分野の問題の全体像を明確化し、それによって特徴付けと緩和のためのより明確な基盤を提供することです。