エッジ上でのマルチLoRAベースのワンフォーオール生成ビジョンモデルを可能にするための、統一型ユニファイド適応蒸留による量子化

概要: 画像編集、オブジェクト除去、プロンプトに導かれる画像変換といった生成的人工知能（GenAI）の機能は、モバイルアプリケーションにますます統合されつつあります。しかし、リソースが制約されたデバイス上で、このようなタスクのために大規模ビジョンモデル（LVMs）を導入することは、メモリと計算量の要求が高いため依然として困難です。低ランク・アダプタ（LoRA）はパラメータ効率のよいタスク適応を可能にしますが、既存のモバイル展開パイプラインでは一般に、各LoRAごとに個別のモデルバイナリをコンパイルし、さらに基盤モデルのコピーも別途用意するため、冗長なストレージが生じ、実行時のオーバーヘッドも増大します。本研究では、単一の共有モデルを用いてエッジデバイス上でマルチタスクのGenAI推論を可能にする統一的フレームワークを提案します。我々の主要な着想は、LoRAの重みをコンパイルされたモデルグラフに埋め込むのではなく、実行時の入力として扱うことにより、再コンパイルなしで実行時に動的にタスクを切り替えられるようにする点です。さらに、オンデバイスでの効率的な実行を支えるために、QUAD（Quantization with Unified Adaptive Distillation）を導入します。これは、共有された量子化プロファイルのもとで複数のLoRAアダプタを整合させる、量子化を意識した学習（quantization-aware training）戦略です。提案するシステムを、モバイルNPUと互換な軽量ランタイムスタックとして実装し、複数のチップセットにわたって評価しました。実験結果は、複数のGenAIタスクにおいて高い視覚品質を維持しつつ、メモリ使用量とレイテンシに関してそれぞれ最大6倍および4倍の削減、ならびにレイテンシ改善を示しました。