視覚基盤モデルからの蒸留による屋内フレーム単位ライダー意味セグメンテーションの実現可能性

要旨: 屋内ライダスキャンのフレームごとの意味論的セグメンテーションは、より高度な3Dシーン理解およびマッピング用途に向けた基本的なステップである。 しかし、深層学習モデルの学習のためにフレームごとの真値を取得することは費用がかかり、時間も要する。この課題は、大きくは画像において、画像フレームをセグメントするVisual Foundation Models（VFM）によって対処されている。同様のVFMを、2D-to-3D蒸留パイプラインを通じて、ライダスキャンのフレームセグメンテーションモデルの学習に用いることができる。このような蒸留の有効性は自動運転シーンでは示されているが、屋内シーンではまだ示されていない。ここでは、各ライダスキャンをVFM処理済みのカメラ画像と結合することで、フレームごとの蒸留方式により、屋内シーンでも同様の成功を再現できる可能性を検討する。評価は屋内SLAMデータセットを用いて行い、下流評価には疑似ラベルを使用する。また、意味論付きの他のライダのフレームごとの屋内データセットが存在しないため、検証のために小規模な手動アノテーション付きライダデータセットも提供する。結果として、蒸留モデルは疑似ラベル評価で最大56%のmIoUを達成し、実ラベルでは約36%のmIoUとなり、手動アノテーションなしで屋内ライダの意味論的セグメンテーションに対する異種モーダル蒸留の実現可能性を示している。