3DrawAgent：初期の対照的経験によりLLMに3D描画を教える

Abstract

3D空間におけるスケッチは、形状・構造・空間的関係について表現力豊かな推論を可能にしますが、自然言語によって3Dスケッチを生成することは依然として大きな課題です。本研究では、大規模言語モデル（LLM）を用いて、幾何学的フィードバックのもとで3Dベジエ曲線を逐次的に描画する、トレーニング不要の言語駆動型フレームワーク「3DrawAgent」を提案します。従来の2Dスケッチエージェントとは異なり、本手法は、近年提案されたGroup Reward Policy Optimization（GRPO）パラダイムを適応させる相対的な経験最適化戦略を導入します。明示的な正解データに基づく教師あり監督に依存するのではなく、生成されたスケッチ同士のペアワイズ比較を構築し、各ペアは、CLIPベースの知覚報酬と、LLMベースのきめ細かな定性的評価に基づいて、相対的に良い結果と悪い結果で構成します。これらの経験は、その後、3D描画の事前知識を反復的に洗練するために用いられ、モデルの3D認識をブラックボックス強化学習として実現します。この設計により、パラメータ更新を行わずに、モデルが空間理解と描画品質を自己改善できるようになります。実験の結果、3DrawAgentは多様なテキストプロンプトから複雑で整合的な3Dベジエスケッチを生成でき、創発的な幾何学的推論を示し、さらに新規の形状にも汎化できることがわかりました。これにより、トレーニング不要の3Dスケッチ知能を発展させるための新たなパラダイムを確立します。