エージェントをパーツごとに1つずつスケッチさせる方法

要旨：私たちは、部品を1つずつ生成するベクトルスケッチの方法を開発します。これを実現するために、監視付き微調整に続く新しいマルチターンのプロセス報酬強化学習を用いて、マルチモーダル言語モデルベースのエージェントを訓練します。私たちのアプローチは、ControlSketch-Partと呼ぶ新しいデータセットによって実現されます。これは、スケッチの部品レベルの豊富な注釈を含んでおり、新規の汎用自動注釈パイプラインを用いて取得されたベクトルスケッチを意味的な部品へと分割し、構造化された多段階ラベリングプロセスを用いて部品にパスを割り当てます。私たちの結果は、構造化された部品レベルデータを組み込み、プロセスを通じてエージェントに視覚的フィードバックを提供することによって、解釈可能で制御可能かつ局所的に編集可能なテキストからベクトルスケッチを生成できることを示しています。