APreQEL: エッジLLM向けの適応的ミックス精度量子化

要旨: 今日、大規模言語モデルは、推論、コード生成、複雑な問題解決に至るまで、さまざまなタスクにおいてその強みを示してきました。しかし、この進歩には高い計算コストとメモリ要件が伴うため、リアルタイム応答とデータプライバシーを確保するべく、エッジデバイスへの導入が難しくなっています。量子化はメモリ使用量を削減する一般的な手法の一つですが、ほとんどの方法では、すべての層に対して一様に適用されます。これは、異なる層が低精度に対して異なる応答を示しうるという事実を考慮していません。さらに重要なのは、メモリ消費と計算スループットが必ずしも一致するわけではなく、導入判断を一層複雑にしていることです。本論文では、ユーザーが定めた優先順位のもとで、エッジ導入におけるメモリ、遅延、精度のバランスを取る適応的な混合精度量子化メカニズムを提案します。これは、層ごとの寄与を解析し、ターゲットとなるハードウェア基盤上で異なる量子化タイプがどのように振る舞うかを推論することで、各層に最も適した量子化タイプを割り当てることによって実現されます。この統合により、層の重要度と、設計全体におけるパフォーマンス上のトレードオフが、同時に考慮されます。私たちの手法は、一様量子化では達成できない新しい構成設計を可能にし、資源制約のあるデバイス上でLLMを効率的に導入するための解決策の探索空間を拡張します。