幾何-フォトメトリックイベントベース 3D ガウスレイトレーシング

arXiv cs.RO / 2026/4/2

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、疎なイベントストリームに固有の「精度 vs. 時間分解能」のトレードオフを対象とした、イベントベース 3D ガウススプラッティングのための枠組み GPERT を提案する。
レンダリングを2つの構成要素に分解する。すなわち、レイトレーシングによるイベントごとの幾何（深度）と、ワープしたイベント画像を用いたスナップショットベースの放射輝度（強度）である。これにより、幾何と外観（見え）を混同せずに、きめ細かな時間情報を活用できる。
実験では、実世界データセットにおいて先端的（state-of-the-art）の結果を報告し、合成データセットでは競争力のある性能を示す。
本手法は、事前情報（事前学習済みの画像再構成モデルや、COLMAP に基づく初期化など）なしで動作すると主張しており、使用するイベント数の柔軟性もある。
本アプローチは、シーンの端部で鮮明な再構成を生成しつつ、学習を高速化できると報告されている。著者らは、この研究を、イベントの疎性が3D再構成に与える影響をよりよく理解するための一歩として位置付けている。

Abstract

イベントカメラは、従来のフレームベースカメラに比べて高い時間分解能を提供するため、動きと構造の推定に適しています。しかし、イベントベース3Dガウススパッタリング（3DGS）が、疎なイベントの持つ微細な時間情報をどのように活用できるのかは、これまで不明でした。本研究では、イベントベース3DGSにおける精度と時間分解能のトレードオフに対処するフレームワークGPERTを提案します。主要なアイデアは、レンダリングを2つのブランチに分離することです。すなわち、レイトレーシングと、ワープしたイベントの画像を用いて、イベントごとのジオメトリ（深度）レンダリングと、スナップショットベースの放射（強度）レンダリングを行います。広範な評価の結果、提案手法は実世界データセットにおいて最先端の性能を達成し、合成データセットにおいても競争力のある性能を示しました。さらに、提案手法は事前情報（例：事前学習された画像再構成モデル）やCOLMAPベースの初期化なしで動作し、イベント選択数に対してより柔軟であり、学習時間が短いにもかかわらずシーンのエッジでシャープな再構成を実現します。本研究が、3D再構成におけるイベントの疎な性質に対する理解を深めることを願っています。 https://github.com/e3ai/gpert