自然言語による制御のためにLLMとロボットオペレーティングシステムを組み合わせる

ここ数十年の間に、ロボティクス研究者たちは、現実世界のさまざまなタスクを自律的に完了できる、ますます高度なロボットの幅広い開発を進めてきました。公共の場や家庭、オフィス環境などの現実の場にうまく導入するためには、これらのロボットは、人間の利用者が出す指示を理解し、それに応じて行動を適応できる必要があります。

ロンドンのHuawei Noah's Ark Lab、ダルムシュタット工科大学、ETHチューリッヒの研究者らは、最近、ユーザーの指示を、望ましいタスクの解決やミッションの完了につながる実行可能な行動へと翻訳するロボットの能力を高めうる新しい枠組みを発表しました。この枠組みは、Nature Machine Intelligenceに掲載された論文 で published（公開） として概説されており、人間の言語を処理・生成できる大規模テキストデータセットで訓練された計算モデルである大規模言語モデルと、最も広く使われているロボット制御ソフトウェアであるロボット・オペレーティング・システム（ROS）を組み合わせています。

「自然言語の指示を信頼できる物理的な行動へと変換できる自律ロボットは、人工知能において依然として中心的な課題です」と、クリストファー・E・モワー氏と彼の同僚は書いています。「私たちは、大規模言語モデルのエージェントをROSに接続することで、身体性のあるインテリジェンスのための汎用的な枠組みが実現できることを示し、完全な実装を無償で利用可能なオープンソースコードとして公開します。」

モワー氏と同僚たちは、大規模言語モデルをROSと統合することで、ロボットの応答性と、利用者の指示を正確に追従する能力をさらに高めたいと考えました。ChatGPTの動作を支えるモデルなどの大規模言語モデルは、文章を処理する方法を学習し、利用者の質問に対する回答や、さまざまな種類の文章を生成する人工知能（AI）システムです。

一方でROSは、ロボティクス研究者やロボット開発者によって一般的に利用されている、オープンソースのソフトウェア群やその他のツールのセットです。研究の一環として、研究者らは大規模言語モデルとROSを効果的に組み合わせ、書かれた指示をロボットの行動へと翻訳できる枠組みを作り上げました。

「エージェントは、大規模言語モデルの出力を自動的にロボットの行動へと変換し、差し替え可能な実行モード（インラインコードまたはビヘイビアツリー）をサポートします。また、模倣を通じて新しいアトミックスキルを学習し、人間または環境からのフィードバックによる自動最適化と省察を通じて、それらを継続的に洗練させます」と著者らは書いています。

要するに、研究者らの提案した枠組みは、大規模言語モデルにより「緑のブロックを拾って黒い棚に置いてください」のようなユーザーの書き言葉の指示を処理します。そのモデルは指示をより小さなステップに分解し、ROSソフトウェアを通じてロボットが実行できる一連の行動計画を生成します。

書かれた指示を行動へと翻訳する方法は、2通りあります。1つ目はインラインコードで、大規模言語モデルが小さな断片の実行可能コードを書き、そのコードをROS経由でロボットを直接制御するのに用います。2つ目は、ビヘイビアツリーとして知られる、構造化された一連の判断を通じて行います。これは、行動を明確な順序に整理し、ある行動が望ましい結果を達成できなかった場合に備えた代替オプションも用意します。

研究者らは、さまざまな現実世界のタスクを完了するよう指示された複数のロボットを対象にした一連の実験で、その枠組みを検証しました。これらのテスト結果は非常に有望でした。ほとんどのロボットが指示に従い、タスクを完了できたことを確認したからです。

「大規模な実験によって枠組みが裏づけられ、多様な状況や身体形態における頑健性、拡張性、汎用性が示されます。具体的には、長期的なタスク、卓上での組み替え、動的なタスク最適化、遠隔の監督制御などを含みます」と著者らは書いています。「さらに、この研究で提示されたすべての結果は、オープンソースの事前学習済み大規模言語モデルを利用して達成されました。」

今後は、モワー氏と同僚らが導入した枠組みをさらに改善し、より幅広いロボット、ますます複雑なタスク、より動的な環境でテストできる可能性があります。加えて、ロボット制御ソフトウェアと大規模言語モデルをうまく結びつける、同様の他の解決策の開発を促すことも考えられます。