ビデオから時間的に手術を地図化するためのビジョン・ラングエージモデルとプラットフォーム

Abstract

手術ナビゲーション（マッピング）は、手術の運用指針を発展させ、自律型ロボット手術を可能にする上で基本となる。近年、人工知能（AI）によって動画から外科医の行動をマッピングすることに有望な進展が示されているが、現在のモデルは対象範囲が狭く、単一の手術手技内で捉えられる行動要素が限られている。また、モデルが実際に手術を行う外科医にとって利用不可能であるため、翻訳（臨床への応用）における価値も限定的である。ここでは、8つの外科専門領域にまたがり反復的な自己ラベリング枠組みによって育成された、最も包括的な注釈付き動画ライブラリの一つであるHalsted Surgical Atlas（HSA）で訓練した、視覚言語モデルHalstedを導入する。ベンチマークを促進するために、Halsted Surgical AtlasのサブセットであるHSA-27kを公開する。Halstedは、外科的活動のマッピングにおいて従来の最先端モデルを上回り、より高い包括性と計算効率も提供する。外科AIの長年にわたる翻訳上のギャップを埋めるため、我々は外科医が世界のどこからでも、これまで利用できなかった能力として、自身の手技を数分で自動的にマッピングできるようにするHalstedウェブプラットフォーム（https://halstedhealth.ai/）を開発する。非構造化の手術動画データを標準化し、これらの能力を外科医に直接提供することで、本研究は外科AIを臨床での導入にさらに近づけ、自律型ロボット手術に向けた道筋を切り開くのに役立つ。