Abstract
脳波（EEG）からの運動学予測（MKP）は、運動に関連したブレイン・コンピュータ・インターフェース（BCI）を開発するための重要な研究分野である。従来の手法はしばしば畳み込みニューラルネットワーク（CNN）や再帰型ニューラルネットワーク（RNN）に依存してきたが、Transformerベースのモデルは長い時系列のEEGデータをモデル化する上で強力な能力を示している。本研究では、把持・持ち上げ課題中のEEGから手の運動学を復号するための、CNN-注意（attention）ハイブリッドモデルを提案し、被験者内実験で強い性能を達成する。さらに、このアプローチをEEG-EMGのマルチモーダル復号へ拡張し、実質的に改善された結果を得る。被験者内テストでは、親指と示指の間の中間軌道に基づいて計算したX、Y、Z軸について、それぞれPCC値が0.9854、0.9946、0.9065となり、一方、被験者間テストでは0.9643、0.9795、0.5852となる。両モダリティで復号された軌道は、その後MuJoCoシミュレーションにおいてFranka Pandaロボットアームを制御するために用いられる。軌道の忠実度を高めるために、本研究では有限状態機械（finite-state machine）内で、運動状態を考慮したクリティックにより低信頼度の復号点をフィルタリングするコパイロット（copilot）フレームワークを導入する。この事後処理は、データ点の20%未満の除外にとどめながら、EEGのみの復号における被験者内PCCを全体として0.93まで改善する。
