超低解像度RGB入力からのプライバシー保護型セマンティックセグメンテーション

概要: RGBベースのセマンティックセグメンテーションは、視覚認識における主流のアプローチとなり、さまざまな下流タスクに広く適用されています。しかし、既存の手法は典型的に高解像度のRGB入力に依存しており、プライバシーが重要となる環境では機微な視覚コンテンツが露出する可能性があります。超低解像度RGBセンシングは、画像獲得の時点で機微な情報を直接抑制するため、魅力的なプライバシー保護の代替手段となります。それでも、超低解像度RGB入力からセマンティックセグメンテーションを復元することは、視覚の深刻な劣化により依然として非常に困難です。本研究では、超低解像度セマンティックセグメンテーションにおいて、視覚劣化によって悪化する最適化上の競合を緩和するための新規な完全共同学習フレームワークを提案します。実験により、本手法がセマンティックセグメンテーション性能において代表的なベースラインを上回ること、また超低解像度RGB入力がプライバシー保護とセマンティックセグメンテーション性能との間で良好なトレードオフを実現できることを示します。さらに、本研究では現実世界のロボティクスの「物体ゴールナビゲーション」タスクにおいて、本プライバシー保護型セマンティックセグメンテーション手法を実装し、たとえ視覚が深刻に劣化している状況でも、下流タスクの実行に成功することを実証します。