要旨: 手術前のCTと手術中の腹腔鏡動画の間の登録は、低侵襲手術における拡張現実(AR)ガイダンスで重要な役割を果たします。学習ベース手法は、最適化ベース手法と同等の登録誤差を最近達成し、さらに高速な推論を提供しています。しかし、多くの教師あり手法は粗いアライメントを生成し、それに追加の最適化ベースの改良を依存しているため、推論時間が増加します。
本研究では、CT-to-動画登録を逐次的な意思決定プロセスとして定式化する離散行動強化学習(RL)フレームワークを提案します。共有特徴エンコーダは、安定した幾何学的特徴とより高速な収束を提供するために、教師ありポーズ推定ネットワークからウォームスタートされます。そして、CTレンダリングと腹腔鏡フレームから表現を抽出します。続いて、RLポリシーヘッドが、6自由度に沿った剛体変換を選択し、さらにいつ反復を停止するかを学習します。
公開されている腹腔鏡データセットでの実験により、本手法は平均的なターゲット登録誤差(TRE)15.70 mmを達成し、最適化を伴う教師あり手法と同程度であることを示しました。また、より高速な収束も実現しました。
提案するRLベースの定式化により、手動で調整されたステップサイズや停止基準なしに、自動で効率的な反復登録が可能になります。この離散的な枠組みは、外科用ARアプリケーションにおける将来の連続行動および変形可能な登録モデルのための実用的な基盤となります。
反復的3D/2D肝臓レジストレーションのためのウォームスタート強化学習
arXiv cs.CV / 2026/4/14
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- AR支援による低侵襲手術のためのCTから腹腔鏡動画へのレジストレーションは、粗い位置合わせにしばしばより遅い最適化ベースのリファインメントが必要となるため、教師あり学習では難しい。
- 本論文では、レジストレーションを逐次的な意思決定として扱う離散行動の強化学習フレームワークを提案し、6自由度(6-DoF)の剛体変換更新と、明示的な停止ポリシーを学習する。
- 重要な設計として、教師あり姿勢推定ネットワークからRLの特徴エンコーダを「ウォームスタート」し、幾何学的特徴を安定化させ、収束を高速化する点が挙げられる。
- 公開された腹腔鏡データセット上で、本手法は平均ターゲットレジストレーション誤差(TRE)15.70 mmを報告しており、最適化を要する教師あり手法と同等の性能を示しながら、より速く収束する。
- 本アプローチは、手動での調整(ステップサイズや停止基準)を減らしつつ、自動的な反復レジストレーションを可能にすることを目指しており、今後の連続行動および変形可能レジストレーション研究の基盤として位置づけられている。




