PanORama: 手術室における多視点一貫性パンオプティックセグメンテーション

概要: 手術室（OR）は、乱雑で動的、遮蔽が多い環境であり、複雑な手術ワークフローにおける状況認識のためには、信頼性の高い空間理解が不可欠である。まばらな多視点画像からのパノプティックセグメンテーションの空間理解を達成することは根本的な課題である。視点の一部で視認性が限られると、カメラ間で誤予測が生じることが多い。
この目的のため、設計上多視点間で一貫性を持つ手術室向けの初のパノプティックセグメンテーションである PanORama を導入する。1回の前方パスでバックボーン内部の特徴レベルでクロスビュー相互作用をモデル化することにより、ビューの一貫性は直接生じ、事後の洗練化を介さない。
MM-ORおよび4D-ORデータセットで評価し、Panoptic Quality（PQ）>70%の性能を達成し、従来の最先端を上回る。
重要なのは、PanORama はキャリブレーション不要で、カメラパラメータを必要とせず、推論時には任意の多視点構成内の未知のカメラ視点にも一般化することだ。
多視点セグメンテーションを大幅に向上させ、それに伴い手術室での空間理解を高めることにより、私たちのアプローチは手術の知覚と支援に新しい機会を開くと信じている。
コードは受理後に公開されます。