SAC-NeRF: ソフトアクター-クリティック強化学習によるニューラル放射場の適応的光線サンプリング

要約: Neural Radiance Fields (NeRF) はフォトリアリスティックな新規視点合成を実現しているが、体積レンダリング中の密なレイサンプリングに起因する計算効率の低さに悩まされている。SAC-NeRF を提案します。Soft Actor-Critic (SAC) を用いて適応的サンプリング方針を学習する強化学習フレームワークです。提案手法は、サンプリングをマルコフ決定過程として定式化し、RLエージェントがシーンの特性に基づいてサンプルを割り当てることを学習します。以下の三つの技術的要素を導入します: (1) 不確実性推定を提供するガウス混合分布カラー模型, (2) 品質・効率・一貫性のバランスをとる多成分報酬関数, (3) 環境の非定常性に対処する二段階訓練戦略。Synthetic-NeRF および LLFF データセットでの実験は、SAC-NeRF がサンプリング点を35-48％削減しつつ、密なサンプリングベースラインに対して0.3-0.8 dB PSNR のレンダリング品質を維持することを示している。学習されたポリシーはシーン特異的であり、RLフレームワークはより単純なヒューリスティックに比べて複雑さを増すが、データ駆動型サンプリング戦略は手で設計することが難しい有効なパターンを発見できることを示している。