JI-ADF：マルチモーダル皮膚病変分類における適応的意思決定融合を用いたJoint-Individual学習

要旨: 皮膚病変の分類は早期の皮膚科学的診断に不可欠である一方、多くの既存のコンピュータ支援システムは主としてデスモスコピー画像に依存しており、臨床診療で日常的に利用可能な多様なモダリティのエビデンスを十分に活用できていません。このギャップに対処するために、我々は extbf{JI-ADF} を提案します。これは、デスモスコピー画像、臨床写真、および構造化された患者メタデータを統合するトリモーダル（3モダリティ）深層学習フレームワークであり、臨床的根拠に基づく皮膚病変分類を実現します。提案アーキテクチャは、共同マルチモーダル表現学習と、モダリティ固有の補助的教師信号、さらに適応的な意思決定融合機構を組み合わせています。この機構は、サンプルごとにモダリティの寄与を動的に調整します。モダリティ固有のエビデンスを保持しつつクロスモーダル推論を強化するために、さらにマルチモーダル融合アテンション（MMFA）モジュールを導入します。大規模な MILK10k ベンチマーク上で JI-ADF を評価します。このベンチマークは、実世界の臨床における取得条件と、深刻なクラス不均衡を反映しています。提案手法は病変カテゴリ全体で強力かつバランスの取れた性能を示し、高い特異度と良好なキャリブレーションを維持しながら、感度および Dice スコアを向上させます。モダリティのアブレーション、キャリブレーション評価、Grad-CAM 可視化を含む広範な分析によっても、モデルの頑健性と臨床的に意義のある振る舞いがさらに確認されます。これらの結果は、JI-ADF が実世界の臨床設定におけるマルチモーダル皮膚病変分類の信頼でき、実用的な基盤を提供することを示しています。