拡散ノイズにおける物理の探索

Abstract

ビデオ拡散モデルは、物理的妥当性を予測できる信号をエンコードしているのでしょうか？ 本研究では、事前学習済みの拡散トランスフォーマ（DiT）の中間ノイズ除去表現を調べ、その結果、物理的に妥当な動画と妥当でない動画は、ノイズレベルをまたいで中間層の特徴空間で部分的に分離可能であることを見いだしました。この分離可能性は、視覚品質やジェネレータの同一性だけでは完全には説明できず、凍結したDiT特徴に回復可能な物理関連の手がかりが含まれていることを示唆します。この観察を活用し、推論時の戦略である「段階的軌道選択」を提案します。これは、凍結した特徴で学習した軽量な物理検証器を用いて、いくつかの中間チェックポイントで並列なノイズ除去軌道をスコアリングし、低スコアの候補を早期に刈り込みます。PhyGenBench に対する大規模な実験により、本手法は推論コストを抑えつつ物理整合性を向上させ、実質的に少ないノイズ除去ステップで Best-of-K サンプリングと同等の結果を達成することを示します。