VA-FastNavi-MARL: マルチメディア駆動のメタ強化学習によるリアルタイムロボット制御

Abstract

人とロボットのインタラクションにおいて、リアルタイムの応答性を伴いながら動的で不均一なマルチメディアコマンドを解釈することは極めて重要です。本稿では、非同期の音声・映像入力を統一された潜在表現へと整合させるフレームワークVA-FastNavi-MARLを提案します。多様な指示を、メタ強化学習によってナビゲート可能な目標の分布として扱うことで、推論のオーバーヘッドをほとんど増やすことなく、未見の指令への迅速な適応を実現します。重い感覚処理にボトルネックが生じる既存手法とは異なり、本手法のモダリティ非依存のストリームは、シームレスで低遅延な制御を保証します。複数アームのワークスペースでの検証により、VA-FastNavi-MARLがサンプル効率の面でベースラインを大幅に上回り、ノイズのあるマルチメディアストリーム下でも頑健でリアルタイムな実行を維持することを確認しました。