Dream-Cubed：Minecraftでのキューブ学習による制御可能な生成モデリング

要旨: 本稿では、ボクセル解像度で表現されたMinecraftワールドの大規模データセット「Dream-Cubed」と、効率的にインタラクティブな3D環境を生成するために、キューブを強力な合成（コンポジショナル）単位として用いる一群のモデルを導入します。Dream-Cubed は、手続き的なバイオーム地形と高品質な人手によるマップを慎重に調合したものからなる、数百億トークン規模のデータで構成されています。本データセットを用いて、ボクセル生成のための3D拡散モデルに関する初の大規模研究を実施し、離散および連続の拡散定式化、データ構成、ならびにアーキテクチャ設計上の選択を分析します。提案モデルはブロック空間上で直接動作するため、効率的で意味に根ざした生成が可能であり、さらにユーザが作成したブロックからのインペインティングやアウトペインティングといった、インタラクティブなユーザの作業フローにも対応します。モデルを定量的に評価するために、FID 指標を適応して、実際のワールド描画と生成されたワールド描画の間に存在する意味の違いを評価し、人間の嗜好（好み）に基づく調査により生成品質を検証します。私たちは、データセット全体、コード、およびすべての事前学習済みモデルを公開します。これが、構造化されたインタラクティブな3D環境に対する効率的な生成モデリングに関する今後の研究の基盤となることを期待しています。