人-ロボット協調におけるマルチモーダル異常検知

Abstract

人とロボットの相互作用（HRI）において安全性と信頼性を確保するには、システムの故障や危険な挙動につながり得る予期しない事象を、適時に検出することが必要です。そのため、異常検出は、協調作業中にロボットが通常の運用からの逸脱を認識し、応答できるようにする上で重要な役割を果たします。再構成モデルはHRIの分野で積極的に検討されてきましたが、特徴ベクトルに直接作用するアプローチは、ほとんど未開拓のままです。本研究では、MADRIというフレームワークを提案します。これは、まず動画ストリームを意味的に有意味な特徴ベクトルへと変換し、その後、再構成に基づく異常検出を行います。さらに、これらの視覚特徴ベクトルを、ロボット内部センサの計測値とシーン・グラフで拡張し、視覚環境における外部の異常と、ロボット自身における内部の故障の両方をモデルが捉えられるようにします。本手法を評価するために、通常時および異常時の条件下で行う、単純なピックアンドプレースのロボット作業からなる独自データセットを収集しました。実験結果は、視覚ベースの特徴ベクトルのみに対する再構成でも異常の検出に有効であることを示し、一方で他のモダリティを組み込むことで検出性能がさらに向上することを明らかにしています。これは、人とロボットの協調における頑健な異常検出に対して、マルチモーダルな特徴再構成がもたらす利点を強調しています。