モダリティ対応型ゼロショット・プルーニングとスパース・アテンションによる効率的なマルチモーダル・エッジ推論

要旨: エッジデバイスは、変動する電力予算や予測不能なセンサードロップアウトにもかかわらず精度を維持しなければならないマルチモーダルセンシング・パイプラインをますます実行するようになっています。既存の剪定（pruning）手法はこれらの条件下でうまく機能しません。一般に、圧縮後に微調整（fine-tuning）が必要であり、配備時のエネルギーを10 imes以上消費します。また、存在するセンサが何であるかを無視した静的な重要度スコアを割り当てます。私たちは、これら2つの課題を同時に扱うSentryFuseフレームワークを提案します。まず第一に、SentryGateは、訓練中に一次サリエンシ（saliency）による教師信号を用いてモダリティ条件付きの重要度スコアを学習し、その後、微調整なしで配備時に注意（attention）ヘッドおよびフィードフォワードチャネルを剪定します。第二に、SentryAttendは、現代のマルチモーダル・アーキテクチャにおける重要なボトルネックである密な自己注意（dense self-attention）を、疎なグループド・クエリ注意（sparse grouped-query attention）に置き換え、3つの異なるマルチモーダル・アーキテクチャにおいてGFLOPsを合計でネット15%削減します。3つのアプリケーションおよびマルチモーダル・バックボーンにわたり、SentryGateは最強の剪定ベースラインに対して平均で12.7%の精度向上を達成し、さらにモダリティのドロップアウト条件下では最大18%まで向上します。SentryFuseは、追加の微調整なしにメモリを28.2%削減し、レイテンシを最大1.63 imes低減し、モダリティに応じたゼロショット圧縮を、異種エッジハードウェア上でのマルチモーダル知能へ向けた実用的な道筋として確立します。