EmbodiedClaw: 身体化AI開発のための会話型ワークフロー実行

要旨: 身体性のあるAI研究（embodied AI research）は、単一タスク・単一環境での方策学習から、複数タスク、複数シーン、複数モデルの設定へとますます移行しつつあります。この変化により、評価環境の構築、軌道（トラジェクトリ）の収集、モデル学習、評価などの段階に必要となるエンジニアリング上のオーバーヘッドと開発時間が大幅に増加します。この課題に対処するために、私たちは身体性のあるAI開発のための新しいパラダイムを提案します。そこでは、ユーザが会話によって目標と制約を表現し、システムが開発ワークフローを自動的に計画し、実行します。このパラダイムを、EmbodiedClawという会話型エージェントとして具体化します。EmbodiedClawは、環境の作成と改訂、ベンチマークの変換、軌道の合成、モデルの評価、アセットの拡張など、高頻度かつ高コストな身体性のある研究活動を、実行可能なスキルへと変換します。エンドツーエンドのワークフロタスクに関する実験、能力に特化した評価、人間の研究者による調査、およびアブレーションにより、EmbodiedClawは、実行可能性、整合性、再現性を向上させながら、手作業のエンジニアリング工数を削減することが示されます。これらの結果は、身体性のあるAI開発において、手作業のツールチェーンから、会話によって実行可能なワークフローへと移行することを示唆しています。