親指サイズのマイコンでのオンデバイス視覚学習、デプロイ、推論

要旨: 本論文は、データ取得、Adam最適化による2層CNNの学習、リアルタイム推論から成る、完全なエンドツーエンドのオンデバイス・ビジョン機械学習パイプラインを提示します。このパイプラインは、$15〜40 USDのマイクロコントローラ級デバイス上で、完全に実行されます。外部インフラを必要とし、計算パイプラインを実践者から隠してしまうクラウドベースのワークフローとは異なり、本システムは、読めるC++で約1,750行により、コアとなるMLライフサイクルのあらゆるステップを実装し、Arduino IDEで1分未満でコンパイルできます。さらに、外部のML依存関係はありません。Seeed Studio ESP32-S3 XIAO ML Kit（8 MB PSRAM）上で動作するファームウェアは、学習1回あたり約9分で3クラスの64x64画像分類を実現し、リアルタイム推論では6.3 FPSを達成します。主な貢献は以下のとおりです：正しいバッチ単位での勾配蓄積；推論用の事前計算済みリサイズ参照テーブル；SD不要の焼き込み展開のためのデュアル形式の重みエクスポート；ブート時に自動的に解決される三段階の重み優先度システム（SDバイナリ > 焼き込みヘッダ > He初期化）；単一の定数によるネットワーク再構成インターフェース；マイクロコントローラの制約に適したPSRAMを意識したメモリ管理。すべてのソースコードおよび参照データセットは、MIT Licenseのもとで https://github.com/webmcu-ai/on-device-vision-ai にて公開されています