PicoSAM3: センサー内でのROIセグメンテーションをリアルタイムに実現

本文: arXiv:2603.11917v1 告知タイプ: new 要旨：リアルタイムでデバイス上のセグメンテーションは、遅延に敏感でプライバシーを重視するスマートグラスやIoTデバイスのようなアプリケーションにとって重要です。我々はPicoSAM3を導入します。センサー内およびエッジでの実行に最適化された軽量なプロンプト対応視覚セグメンテーションモデルで、Sony IMX500ビジョンセンサー上でのデプロイを含みます。PicoSAM3は1.3Mパラメータを持ち、密なCNNアーキテクチャとROIプロンプトエンコーディング、Efficient Channel Attention、およびSAM2とSAM3からの知識蒸留を組み合わせています。COCOおよびLVISでは、PicoSAM3はそれぞれ65.45%と64.01%のmIoUを達成し、同等または低い複雑さで既存のSAMベースおよびエッジ指向のベースラインを上回ります。INT8量子化モデルはほとんど劣化を生じず、IMX500上で11.82 msのレイテンシでセンサー内推論をリアルタイムに実現し、メモリおよび演算子の制約を完全に満たします。アブレーション研究は、大規模なSAMモデルからの蒸留が教師あり学習を最大+14.5%のmIoU改善をもたらすことを示し、高品質で空間的に柔軟なプロンプト対応セグメンテーションがセンサーレベルで直接実現可能であることを示しています。