画像解析のための深層学習モデルの性能評価: 視覚的制御と統計指標に関する考慮点

要旨：深層学習に基づく自動画像解析（DL-AIA）は、特徴量定量化に関連するタスクで訓練済み病理学者を上回ることが示されています。関連するこれらの能力に関連して、DL-AIAツールの利用は概念実証研究から日常的な適用へと拡大しており、患者サンプル（診断病理）、規制安全性評価（毒性病理）、および反復的な研究タスクが含まれます。DL-AIAアプリケーションの安全性と信頼性を確保するには、徹底的で客観的な一般化性能評価（すなわちアルゴリズムが関心パターンを正確に予測できる能力）を実施することが重要であり、場合によってはモデルの頑健性の評価（異なる出所の画像で予測精度を維持する能力）を評価することも検討します。本稿では、獣医病理学の論文における性能評価の実践をレビューし、2つのアプローチが特定されました。1) 専門的な目視による性能管理（すなわちアルゴリズム予測を肉眼で評価すること）と、二次的な性能指標を用いたモデル適用の検証、2) 統計的性能管理（他の方法と並行して）、モデル学習前にデータセットの作成とホールドアウトテストセットの分離を必要とします。本稿では、統計的および視覚的性能管理手法の長所と短所を比較します。さらに、評価指標の選択、テストデータセットの画像構成、グラウンドトゥルースラベルの品質、ブートストラッピングなどのリサンプリング法、複数モデルの統計的比較、およびモデルの安定性の評価を含む、厳密な統計性能評価に関する関連事項を論じます。結論として、視覚的評価と統計的評価は補完的な強みを持ち、両者を組み合わせることで、DLモデルの性能と誤りの原因について最も深い洞察を得られると結論づけます。