GeomPrompt：欠損および劣化した深度下でのRGB-Dセマンティックセグメンテーションのための幾何学的プロンプト学習

Abstract

ロボティクスおよび身体化AI向けのマルチモーダル知覚システムは、多くの場合信頼できるRGB-Dセンシングを前提としていますが、実際には深度情報が欠落していたり、ノイズまみれだったり、破損していたりすることがしばしばあります。そこで本研究では、凍結したRGB-D意味セグメンテーションモデルの第4チャンネルに対し、深度教師なしで、RGBのみからタスク駆動の幾何学的プロンプトを合成する、軽量なクロスモーダル適応モジュールGeomPromptを提案します。さらに、劣化した深度を補償するために、凍結セグメンタを対象とした適切な第4チャンネル補正を予測することで補償を行う適応モジュールGeomPrompt-Recoveryも導入します。両モジュールは下流のセグメンテーションに対する教師信号のみで訓練され、深度信号を推定するのではなく、セグメンテーションに有用な幾何学的事前知識の回復を可能にします。SUN RGB-Dにおいて、GeomPromptはRGBのみの推論に比べてDFormerで+6.1 mIoU、GeminiFusionで+3.0 mIoU向上し、強力な単眼深度推定器と競争力を維持しています。劣化した深度に対しては、GeomPrompt-Recoveryが一貫して頑健性を改善し、厳しい深度破損下で最大+3.6 mIoUの向上をもたらします。GeomPromptはまた、単眼深度ベースラインよりも大幅に効率的で、38.3 msおよび71.9 msに対して7.8 msのレイテンシを実現します。これらの結果は、タスク駆動の幾何学的プロンプトが、RGB-D知覚における深度入力の欠落および劣化に対するクロスモーダル補償のための効率的な仕組みであることを示唆しています。