統合RGBおよび熱画像を用いた糖尿病性足潰瘍の病期分類のためのマルチモーダル深層学習

arXiv cs.CV / 2026/3/31

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本研究は、同時に取得したRGB画像と熱画像を統合することで、糖尿病性足潰瘍（DFU）の早期診断とモニタリングの改善を目的とした、マルチモーダル深層学習を提案する。
Raspberry Piベースの携帯型撮像システムを構築し、病院データを収集した結果、6つのDFU病期にまたがる、専門家による注釈付き1,205件のラベル付きデータセットを作成した。
DenseNet121、EfficientNetV2、InceptionV3、ResNet50、VGG16を用いて、3つの変法（RGBのみ、熱のみ、RGB+Thermalを4チャネル入力として）でモデルを学習した。
結果として、RGB+Thermalの統合アプローチが単一モダリティでの学習を上回り、最良の性能はVGG16によるRGB+Thermalで得られた（精度93.25%、F1 92.53%、MCC 91.03%）。
Grad-CAMの可視化から、熱チャネルが潰瘍に関連する温度異常の位置特定に役立ち、RGBチャネルが補完的に構造および質感の手掛かりを提供していることが示唆される。

Abstract

糖尿病性足潰瘍（DFU）は、切断につながり得る深刻な糖尿病合併症の1つであり、医療費の高騰を招きます。臨床的負担と切断リスクを低減するには、定期的なモニタリングと早期診断が不可欠です。本研究の目的は、DFUの病期分類に対する深層学習モデルにおいて、多モーダル画像を用いることの影響を調査することです。そのために、RGB画像と熱画像を同時に撮影できるラズベリーパイベースの携帯型イメージングシステムを開発しました。この試作機を用いて、病院環境で1,205サンプルからなるデータセットを収集しました。データセットは専門家によって6つの異なる段階にラベル付けされました。モデルの性能を評価するために、3種類の異なる学習セットを用意しました：RGBのみ、熱のみ、そしてRGB+Thermal（熱画像を4チャンネル目として追加）です。これらの学習セットを、DenseNet121、EfficientNetV2、InceptionV3、ResNet50、VGG16の各モデルで学習させました。その結果、RGBと熱データを4つのチャンネルに統合した多モーダル学習データセットが、単一モーダルの手法よりも優れていることが示されました。最も高い性能は、RGB+Thermalデータセットで学習したVGG16モデルで観測されました。このモデルは、精度93.25%、F1スコア92.53%、MCC 91.03%を達成しました。Grad-CAMヒートマップによる可視化では、熱チャンネルが潰瘍領域における温度の異常を強調することで、モデルが正しい位置に注目するのを助けていることが示されました。一方でRGBチャンネルは、補完的な構造情報と質感情報によって意思決定を支援していました。