SceneOrchestra：ツール呼び出しの全軌跡生成による効率的なエージェント型3Dシーン合成

要旨: 3Dシーン合成のための近年のエージェント型フレームワークは、異種の生成・編集ツールを統合することで、現実感と多様性を大きく向上させてきました。これらのツールは、市販のLLMによって統括されるワークフローとして整理されています。現在の手法では一般に、実行-レビュー-反省（execute-review-reflect）のループを採用します。すなわち各ステップで統括（オーケストレータ）がツールを実行し、中間結果をレンダリングしてレビューできるようにしたうえで、次のステップに用いるツールとそのパラメータを決定します。しかし、この設計には2つの主要な制限があります。第一に、次のステップのツール選択とパラメータ設定がヒューリスティック（経験則）に駆動されるため、最適でない実行フロー、不要なツール呼び出し、出力品質の低下、ならびに実行時間の増加につながり得ます。第二に、各ステップの後に中間結果をレンダリングしてレビューすることが、追加のレイテンシを導入します。これらの問題に対処するため、我々はSceneOrchestraという、学習可能なオーケストレーション（統括）フレームワークを提案します。これはツール呼び出しの実行フローを最適化し、ステップごとのレビュー ループを排除することで、効率と出力品質の両方を改善します。SceneOrchestraは、オーケストレータと識別器（ディスクリミネータ）から構成されます。これらを2段階の学習戦略で微調整します。第一段階では、オーケストレータが文脈に応じたツール選択と、完全なツール呼び出しトラジェクトリ（軌跡）の生成を学習し、識別器は完全なトラジェクトリの品質を評価するように訓練されます。これにより、複数の候補から最良のトラジェクトリを選択できるようになります。第二段階では、識別器がオーケストレータの進化するトラジェクトリ分布に適応し、その識別能力を再びオーケストレータへ蒸留（distill）する、インタリーブ（交互）学習を行います。推論（inference）時には識別器を用いず、指示から完全なツール呼び出しトラジェクトリを生成して実行するためにオーケストレータのみを使用します。大規模な実験の結果、提案手法は、従来研究と比べて実行時間を削減しつつ、最先端のシーン品質を達成することが示されました。