Once-for-All Channel Mixers（HYPERTINYPW）：TinyML向け生成圧縮
arXiv cs.LG / 2026/3/27
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- HYPER-TINYPWという「圧縮を生成として扱う（compression-as-generation）」手法を導入する。各層のコンパクトなコードを保持し、ロード時に共有された小型MLPによってほとんどの1×1ポイントワイズ（PW）ミキサ重みを生成して、MCU展開を可能にする。
- 生成したPWカーネルをキャッシュし、標準的な整数演算で推論を実行することで、汎用のマイクロコントローラの実行時間を維持し、定常時のレイテンシ／エネルギーをINT8セパレブルCNNのベースラインと同程度に保つ。
- 層間で共通の潜在基底（shared latent basis）を強制して層間冗長性を除去しつつ、早期の学習／推論段階における形状（モルフォロジー）に敏感な混合を安定化するために、PW1はINT8のまま維持する。
- ECGベンチマーク（Apnea-ECG、PTB-XL、MIT-BIH）で強力なフラッシュ／メモリのトレードオフを報告しており、大規模モデルのマクロF1を少なくとも約95%維持しながら、バイト数を約6.31×削減（約225kB）でき、さらに32〜64kBという厳しい予算下でもより良い性能を示す。
- ECG以外にも適用範囲が広いことを示す。TinyML向けオーディオに転移し、Speech Commandsでテスト精度96.2%を達成しており、反復される線形ミキサが支配的になる他の組込みセンシング／音声の設定にも適合することを示唆する。
