ReConText3D：リプレイベースの継続的テキストから3D生成

Abstract

継続学習は、モデルが以前に学習した能力を保持しながら、時間の経過とともに新しい知識を獲得できるようにします。しかし、テキストから3D生成への適用は未だ検討されていません。私たちは、初めての継続的テキストから3D生成のための枠組みであるReConText3Dを提案します。まず、既存のテキストから3D生成モデルが、段階的な学習の下では壊滅的忘却（catastrophic forgetting）により性能が劣化することを示します。ReConText3Dは、生成モデルが、テキストによる記述から新しい3Dカテゴリを段階的に学習しつつ、これまでに見たアセットを合成する能力を保持できるようにします。我々の手法は、テキスト埋め込みに対するk-Center選択（text-embedding k-Center selection）により、コンパクトで多様なリプレイメモリを構築し、基盤となるアーキテクチャを変更することなく、過去の知識を代表的にリハーサルできるようにします。継続的テキストから3D学習を体系的に評価するために、Toys4Kデータセットから派生したベンチマークであるToys4K-CLを導入します。これは、クラス間のインクリメンタル分割をバランスよく、かつ意味的に多様に提供します。Toys4K-CLベンチマークに対する大規模な実験により、ReConText3Dが異なる生成バックボーンのもとでも一貫してすべてのベースラインを上回り、古いクラスと新しいクラスの両方に対して高品質な生成を維持することが示されます。私たちの知る限り、本研究はテキストから3D生成のための最初の継続学習フレームワークおよびベンチマークを確立するものであり、インクリメンタルな3D生成モデリングに新たな方向性を切り開きます。プロジェクトページは次の通りです: https://mauk95.github.io/ReConText3D/