エッジ上でのリアルタイムな動的推論を支える階層的適応制御

概要: 産業システムはますます機械学習（ML）に依存しており、厳しいレイテンシ、エネルギー、メモリの制約を満たす必要のある異種ノード上で動作しています。計算フットプリントを実行時に再構成する動的MLモデルは、精度に対する許容可能なトレードオフの範囲で高いエネルギー効率と平均レイテンシの低減を約束します。しかし、それらの展開は、依存する追加のハイパーパラメータによって複雑になります。これらのハイパーパラメータは、精度と平均レイテンシのトレードオフを制御し、テスト時の分布に一致する必要があるキャリブレーションデータセットで調整されることが多いのですが、この前提は実世界の状況ではめったに成り立ちません。その結果、静的モデルを下回る可能性もある、最適でない運用条件につながります。そこで本研究では、モデルとシステムの意思決定を共同最適化する二層の適応型アーキテクチャを提案します。グローバルなレベルでは、スケジューラが各エッジノードごとに、軽量な専門化モデルからなるカスケードとゼネラリストのフォールバックを構成・配備し、レイテンシおよびメモリの制約を満たします。ノードのレベルでは、ローカルコントローラがデータのドリフトとハードウェア資源を追跡し、条件が変化した際に高いエネルギー効率を維持し、レイテンシ制約の違反を回避するために、専門化予測器（SP）の有効化／無効化を行います。この設計により、グローバルな再配備のステップを強制することなく、より長い運用期間を可能にし、さらにリモートのグローバルコントローラに到達できない場合でも効率的な実行を可能にします。本手法を、制御された分布ミスマッチの状況下で2つのデータセットにより評価し、平均の推論あたりレイテンシを最大2.45倍、エネルギーを最大2.86倍低減しつつ、静的ベースラインと比較して4%未満の精度低下にとどまることを示します。貢献は次のとおりです：（1）最悪時レイテンシ制約を維持する、予算付きのSPカスケードの定式化；（2）データと資源の変化下でも効率を維持する階層型コントローラ；（3）組込みハードウェア上での実験的評価。