話す、セグメント、追跡、ナビゲート: 動画誘導下の頭蓋底手術のためのインタラクティブシステム

概要: 外科医の問いかけに応じて知覚と画像誘導タスクを動的に実行する、映像誘導頭蓋底手術のための音声誘導型具現化エージェントフレームワークを紹介します。提案されたシステムは、自然言語インタラクションをリアルタイムの視覚認識と直接統合し、ライブの術中ビデオストリーム上で、外科医が手術作業から離脱することなく計算支援を要求できるようにします。外部の光学トラッカーや追加のハードウェア設置に依存する従来の画像誘導ナビゲーションシステムとは異なり、フレームワークは術中ビデオだけで動作します。システムは手術器具の対話的セグメンテーションとラベリングから開始します。セグメント化された器具は、術中ビデオストリーム内で自律的に追跡される空間アンカーとして用いられ、解剖学的セグメンテーション、術前3Dモデルのインタラクティブな登録、単眼ビデオベースの器具姿勢推定、そしてリアルタイムの解剖学的オーバーレイによる画像ガイダンスのサポートといった下流のワークフローを支援します。提案システムを映像誘導型の頭蓋底手術シナリオで評価し、追跡性能を市販の光学トラッキングシステムと比較してベンチマークします。結果は、音声案内付きの具現化エージェントが、ワークフローの統合を改善し、映像誘導手術システムの迅速な展開を可能にしつつ、競争力のある空間的精度を達成できることを示しています。