EEGベースのハイブリッド視覚イメージと運動イメージにより制御されるロボットの把持および配置

Abstract

私たちは、脳波（EEG）に基づく視覚イメージ（VI）と運動イメージ（MI）をロボット制御と統合し、リアルタイムで意図に駆動された把持・配置を可能にする枠組みを提案します。BCI駆動ロボティクスが人とロボットの相互作用を強化するという期待に動機づけられた本システムは、オンラインのストリーミング処理パイプライン内でオフラインで事前学習したデコーダをゼロショット的に投入することで、神経信号と物理的な制御を橋渡しします。これにより、視覚的な意図をロボットの動作へと変換するデュアルチャネルの意図インターフェースが確立されます。すなわち、VIは把持対象となる物体を識別し、MIは配置姿勢を決定することで、「何を把持するか」と「どこに配置するか」の両方を直感的に制御できます。本システムはキュー（合図）のないイメージング・プロトコルにより、EEGのみで動作し、統合およびオンラインでの検証を実現します。Baseロボットプラットフォーム上に実装され、多様な状況（遮蔽されたターゲットや参加者の姿勢の違いを含む）で評価した結果、本システムはオンライン復号精度として40.23%（VI）および62.59%（MI）を達成し、エンドツーエンドのタスク成功率は20.88%でした。これらの結果は、高次の視覚認知をリアルタイムに復号し、実行可能なロボットコマンドへと翻訳できること、さらに神経信号と物理的インタラクションの間のギャップを埋めることを示しています。加えて、純粋にイメージングに基づくBCIパラダイムが、実用的な人とロボットの協調において柔軟性を発揮しうることも検証しています。