マイコン向けのWebSerialビジョントレーニング：オンデバイスCNN学習のためのブラウザベース・コンパニオン
arXiv cs.CV / 2026/4/28
📰 ニュースDeveloper Stack & InfrastructureTools & Practical UsageModels & Research
要点
- 本論文では、ChromiumベースのブラウザのみでSeeed Studio XIAO ESP32-S3 Sense上のTinyMLビジョンモデルを学習・デプロイできる、単一ファイルのゼロインストールWebアプリ「webmcu-vision-web」を提案しています。
- これはオンデバイスArduinoファームウェアのローカル・コンパニオンとして機能し、ファームウェアの書き込みから画像収集、CNN学習、重みの書き出し、推論中の活性の可視化までを、データを外部に送らずに一連で扱えるとされています。
- ブラウザ内でのファーム書き込み（esptool-js）、SDカード上の画像閲覧とプレビュー、インライン編集、さらにconfig.jsonによるハイパーパラメータのライブ同期（再コンパイル不要）にも対応しています。
- TensorFlow.jsを用いた3クラス学習では、クラスあたり約30枚・20エポックでブラウザ側が約1分、オンデバイス側が約9分と報告され、収集〜学習〜デプロイの一連を10分未満で完了できるとしています。
- 参照となる3クラス問題で5回の一貫性評価を行い安定した収束を示したうえで、成果物とMITライセンスのソースコードを公開しており、新しいハードやタスクへの適応のための「生きたテンプレート」だと述べています。
