RayFormer：NeRFベースのビデオスナップショット・コンプレッシブイメージングにおけるレイ間・レイ内類似性のモデリング
arXiv cs.CV / 2026/5/1
📰 ニュースDeveloper Stack & InfrastructureModels & Research
要点
- この論文は、ビデオスナップショット・コンプレッシブイメージング（SCI）を対象に、1枚の計測から動的シーンを再構成することを目指し、NeRFベース手法がランダムなレイサンプリングで構造的類似性を捉えられない点を指摘しています。
- それを補うために、シーンのコンテンツ構造をより適切にモデル化するためのパッチ単位のレイサンプリング戦略を提案します。
- さらに、RayFormer（Inter- and Intra-Ray Transformer）として、同一奥行きでの空間的に近い点同士のレイ間類似性と、視線レイに沿った隣接点間のレイ内相関の両方を捉える枠組みを示します。
- パッチ単位のサンプリングに加えて、目的関数へ総変動（Total Variation）事前を組み込むことで、空間的な滑らかさを高め、アーティファクトを抑制します。
- 模擬環境と実環境の両方での実験により、本手法が再構成の最先端（SOTA）性能を達成することが示されています。
