変分推論を用いた不確実性を考慮したプロトタイプ学習による少数ショット点群セグメンテーション

要旨：
少数ショットの3Dセマンティックセグメンテーションは、限られたアノテーション付きサポート例だけを用いて、クエリ点群の正確なセマンティックマスクを生成することを目的とします。既存のプロトタイプベース手法は通常、サポート集合からコンパクトで決定論的なプロトタイプを構築し、クエリのセグメンテーションを導くのです。しかし、このような硬直した表現は、限られた監視によって導入される本質的な不確実性を捉えられず、頑健性の低下や一般化の制限を招くことが多いです。本研究では、UPL（Uncertainty-aware Prototype Learning：不確実性を考慮したプロトタイプ学習）を提案します。これは、少数ショットの3Dセグメンテーションのために、プロトタイプ学習へ不確実性モデリングを組み込むことを目的とした確率的アプローチです。本フレームワークには2つの主要な要素が導入されます。まず、UPLはデュアルストリームプロトタイプリファインメントモジュールを導入し、サポートサンプルとクエリサンプルの両方から限られた情報を共同で活用することでプロトタイプ表現を豊富にします。次に、クラスプロトタイプを潜在変数として扱い、プロトタイプ学習を変分推論の問題として定式化します。この確率的な定式化は、明示的な不確実性モデリングを可能にし、頑健で解釈可能なマスク予測を提供します。広く用いられているScanNetとS3DISのベンチマークでの豊富な実験により、私たちのUPLはさまざまな設定で一貫して最先端の性能を達成しつつ、信頼性の高い不確実性推定を提供することが示されています。コードは https://fdueblab-upl.github.io/ に公開されています。