SHANDS：外科手のジェスチャーおよびエラー認識のための医療トレーニングに向けたマルチビュー・データセットとベンチマーク

Abstract

医学生の外科トレーニングにおける技能の習熟形成は、専門家が主導する技能評価に依存しているが、その評価はコストが高く、時間的な制約があり、大規模化が難しく、専門性が利用可能な専門家を有する施設に限定されてしまう。自動化されたAIベースの評価は現実的な代替手段になり得るが、現実的な受講者の誤りを含むデータセットの不足、および堅牢なコンピュータビジョン手法を学習するために必要な多視点の多様性の不足により進展が制限されている。このギャップに対処するため、医療トレーニング向けの外科手のジェスチャーと誤り認識のための大規模マルチビュー映像データセットであるSurgical-Hands（SHands）を提案する。\textsc{SHands}は、補完的な視点から5台のRGBカメラを用いて、直線状の切開と縫合を撮影し、52名の参加者（20名の専門家と32名の受講者）が、各手技につき3つの標準化された試行をそれぞれ完了する。映像はフレーム単位で15のジェスチャープリミティブで注釈付けされており、受講者の誤りタイプ8種類について検証済みの分類体系を含むため、ジェスチャー認識と誤り検出の両方が可能である。さらに、単一視点・多視点・視点間の一般化に対する標準化された評価プロトコルを定義し、本データセット上で最先端の深層学習モデルをベンチマークする。SHandsは公開されており、臨床的にキュレーションされた領域知識に基づく外科トレーニングのための、堅牢でスケーラブルなAIシステムの開発を支援する。