DermaFlux: 整流フローを用いた合成皮膚病変生成による強化された画像分類

要約: 深層生成モデルの最近の進展にもかかわらず、皮膚病変分類システムは、大規模で多様かつ高品質に注釈された臨床データセットの不足という制約を受けており、良性病変と悪性病変のクラス不均衡を生み出し、その結果、一般化性能が低下している。
本研究では、臨床的根拠に基づく皮膚病変画像を、皮膚科属性の自然言語記述から合成する、整流化フローに基づくテキストから画像生成フレームワーク DermaFlux を紹介します。Flux.1 を基に構築された DermaFlux は、パラメータ効率の高い Low-Rank Adaptation (LoRA) を用いて、公開されている臨床画像データセットの大規模なキュレーション済みコレクション上でファインチューニングされます。私たちは、皮膚科の基準として病変の非対称性、境界の不規則性、色の変化などを含む、確立された基準に従い、Llama 3.2 によって生成された合成のテキストキャプションを用いて画像-テキストペアを構築します。広範な実験により、DermaFlux は多様で臨床的に意味のある皮膚科画像を生成し、実データセットが小規模な場合には二値分類の精度を最大で 6% 向上させ、DermaFlux 生成の合成画像を用いて分類器を訓練した場合には、拡散ベースの合成画像を用いた場合よりも最大で 9% 向上させることを示します。ImageNet で事前学習した ViT を、わずか 2,500 枚の実画像と 4,375 枚の DermaFlux 生成サンプルのみでファインチューニングしたところ、二値分類の精度は 78.04%、AUC は 0.859 を達成し、次点の皮膚科モデルを 8% 上回りました。