M2R2：時間的アクションセグメンテーションのためのマルチモーダル・ロボティック表現

要旨: 時間的アクションセグメンテーション（TAS）は、ロボティクスとコンピュータビジョンの両方において、長年にわたり重要な研究領域である。ロボティクスでは、アルゴリズムは主として、固有感覚情報を活用してスキルの境界を特定することに焦点を当ててきたが、近年の外科ロボティクスのアプローチではビジョンを取り入れている。これとは対照的に、コンピュータビジョンは通常、カメラなどの外受容センサに依存する。ロボティクスにおける既存のマルチモーダルTASモデルは、特徴融合をモデル内で行うため、学習した特徴を異なるモデル間で再利用することが難しい。一方で、コンピュータビジョンで一般的に用いられる、事前学習済みの視覚のみの特徴抽出器は、物体の視認性が限られる状況ではうまく機能しない。本研究では、TASのために調整されたマルチモーダル特徴抽出器M2R2を提案することで、これらの課題に対処する。M2R2は、固有感覚センサと外受容センサの両方からの情報を組み合わせる。さらに、学習した特徴を複数のTASモデル間で再利用できるようにする、新しい学習戦略を導入する。本手法は、3つのロボットデータセットREASSEMBLE、（Im）PerfectPour、JIGSAWSにおいて新たな最先端の性能を達成する。加えて、ロボティクスのTASタスクにおける異なるモダリティの寄与を評価するため、広範なアブレーション研究を行う。