DART: 入力難易度認識に基づく適応閾値による早期退出DNN

要旨:
早期出口型の深層ニューラルネットワークは、十分な信頼度が得られた時点で計算を終了することで適応的推論を可能にし、リソース制約下の環境におけるエッジAIアクセラレータのコストを削減します。既存の手法は、最適でない出口ポリシーに依存し、入力難易度を無視し、閾値を独立に最適化します。本論文は、これらの制限を克服するフレームワーク「DART（Input-Difficulty-Aware Adaptive Threshold）」を導入します。DART には以下の3つの主要な革新が含まれます: (1) 最小限の計算オーバーヘッドで入力の複雑さを定量化する軽量な難易度推定モジュール、(2) 動的計画法に基づく結合的な出口ポリシー最適化アルゴリズム、(3) 適応的な係数管理システム。多様なDNNベンチマーク（AlexNet、ResNet-18、VGG-16）を対象とした実験は、DART が静的ネットワークと比較して最大で 3.3× のスピードアップ、5.1× のエネルギー削減、42% の平均電力低減を達成し、競争力のある精度を維持することを示しています。DART を Vision Transformers（LeViT）に拡張すると、電力（5.0×）および実行時間（3.6×）の利得が得られる一方で、精度の損失（最大で 17%）も生じ、トランスフォーマー専用の早期出口機構の必要性を強調します。さらに、難易度認識効率スコア（DAES）という新しい多目的指標を導入し、DART はベースラインに対して最大で 14.8 の改善を達成し、優れた精度・効率性・頑健性のトレードオフを強調します。