概要: LiDAR に基づく意味論的セグメンテーションは、自律移動ロボットにとって重要な構成要素ですが、LiDAR 点群の大規模なアノテーションは、費用が非常に高く、時間もかかりすぎます。シミュレータを用いればラベル付きの合成データを提供できますが、合成データで学習したモデルは、データレベルのドメインギャップにより、実世界のデータでは性能が低下しがちです。この問題に対処するため、私たちは新しい Sim2Real 変換フレームワークである DRUM を提案します。ラベルなしの実世界データで事前学習した拡散モデルを生成的な事前知識（prior）として活用し、反射強度とレイドロップノイズという 2 つの重要な計測特性を再現することで合成データを変換します。サンプルの忠実度を高めるために、レイドロップを考慮したマスク付きガイダンス機構を導入します。この機構は、拡散の事前知識によって誘起される現実的なレイドロップノイズを維持しつつ、入力された合成データとの整合性を選択的に強制します。実験結果から、DRUM は LiDAR データの複数の表現にわたって Sim2Real 性能を一貫して向上させることが示されました。プロジェクトページは https://miya-tomoya.github.io/drum で利用できます。
DRUM：拡散ベースのレイドロップ対応非対応写像によるSim2Real LiDARセグメンテーション
arXiv cs.CV / 2026/3/30
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、シミュレーションではラベル付きデータが豊富だが実環境では乏しい状況におけるLiDARのセマンティックセグメンテーションを改善することを目的とした、拡散ベースのSim2Real翻訳フレームワークDRUMを提案する。
- DRUMは、ラベルなしの実LiDARデータで事前学習した拡散モデルを生成的な事前知識（prior）として用い、反射強度やレイドロップ（raydrop）ノイズといった実測の特性に合うように合成サンプルを翻訳する。
- 翻訳後サンプルの現実味を高めるために、本手法はレイドロップに配慮したマスク付きガイダンス機構を追加し、合成入力との整合性を維持しつつ、拡散事前知識から得られる現実的なレイドロップノイズを保持することを促す。
- 実験により、DRUMは複数のLiDARデータ表現に対して一貫したSim2Realの性能向上をもたらし、シミュレーションと実センサの間に存在するデータレベルのドメインギャップに対処できることが示される。
