オンデバイス大規模言語モデルの効率的な組成的マルチタスク処理

要旨: アダプター・パラメータは、機械学習モデルの振る舞いを変更するメカニズムを提供し、大規模言語モデル（LLMs）および生成AIの文脈で重要な人気を得ています。これらのパラメータは、タスク結合（task merging）として知られるプロセスを介して複数のタスクをサポートするように統合できます。しかし、LLMにおける結合に関する以前の研究は、特に自然言語処理において、各テスト例が単一のタスクのみを扱うシナリオに限定されています。本論では、オンデバイス設定に焦点を当て、各テスト例が複数のタスクを同時に実行するテキストベースの組成的マルチタスキングの問題を研究します。例えば、長文の翻訳された要約を生成するには、翻訳と要約のタスクを同時に解く必要があります。この設定での研究を促進するため、実用的に関連する4つの組成的タスクからなるベンチマークを提案します。また、計算リソースが限られているオンデバイスアプリケーション向けに設計された効率的な手法（Learnable Calibration）を提示します。リソース効率と高性能の両立という要求を強調します。我々の貢献は、現実世界のマルチタスキングのシナリオにおけるLLMの能力を高め、資源制約のある複雑なユースケースへの適用を拡大するための基盤を築くものです。