Auto-FlexSwitch：学習可能なタスクベクトル圧縮による効率的な動的モデル結合

概要: モデル結合は、複数のタスク固有モデルから知識を統合することで、多タスク適応に向けた有効な手段として注目を集めている。既存のアプローチの中では、動的結合は、タスク間でのパラメータ更新が競合することによる性能劣化を、推論時にタスク固有のパラメータを柔軟に組み合わせることで軽減し、その結果高い性能を維持する。しかし、これらの手法は各タスクごとに独立したパラメータを保存する必要があり、許容できないほどの保存オーバーヘッドが生じる。そこで本研究ではまず、微調整された重みの増分（タスクベクトルと呼ぶ）が衝撃のような（impulse-like）活性化パターンを示し、低ビット表現に対して高い頑健性を持つことを実験的に初めて実証する。この洞察に基づき、T-Switchを提案する。T-Switchは、タスクベクトルを3つのコンパクトな要素に分解する。すなわち、二値の疎マスク、符号ベクトル、スカラーのスケーリング係数である。これにより、高い圧縮率において高忠実度な近似を実現する。次に、特徴の類似度検索によってタスクベクトルを自動的に合成する、学習不要の結合方式であるAuto-Switchを導入する。さらに、タスクベクトルの疎化と量子化を静的なルールから適応的な学習へと変換するために、FlexSwitchという学習可能な枠組みを提案する。これは、Learnable Gating Sparsification（LGS）とBit-width Adaptive Selection（BAS）を用いて、各モデルユニットごとに圧縮戦略を共同で最適化しつつ、最適な保存エンコーディング構造を選択するためにSparsity-Aware Storage Strategy（SASS）を採用する。最後に、学習可能な低ランクのメトリックを用いたK-Nearest Neighbor（KNN）推論方式を組み込むことで、高度に効率的なタスクベクトル圧縮をサポートする動的モデル結合アプローチであるAuto-FlexSwitchを提示する。