医療画像分類におけるフィッシャー・ベクトル符号化を用いた深層ニューラルネットワーク

Abstract

順序のないエンコーディング手法は、データの入手可能性が限られている状況において、画像分類のための畳み込みニューラルネットワーク（CNN）を改善することが示されています。さらに、CNNの局所性バイアスの問題に対処するために、近年、ハイブリッドCNN＋Vision Transformers（ViT）モデルが提案されています。これらのモデルは、CNNのみのアプローチを上回る性能を示しました。とはいえ、より精緻な特徴表現といった要素を伴う形で、この種のハイブリッドモデルを統合することは非常に有益であり、文献上では未だ十分に探究されていません。この文脈で本研究では、小規模データセットから大規模データセットまで適用可能なモデルの実現を目指し、ハイブリッドCNN＋ViTアーキテクチャに対して、順序のないエンコーディング手法であるFisher Vectorsを導入することを提案します。このエンコーディング手法は、画像特徴に対してガウス混合モデル（GMM）を推定することに依存します。大規模データセットでは、GMM推定の計算コストが、Fisher Vectorsの適用における制約要因となります。そこで本研究では、データセットのサイズを大きくするにつれてGMM推定コストの増加を抑える方法を提案します。我々の方法の実現可能性を、医用画像分類の文脈で検討し、MedMNIST（v2）、Clean-CC-CCII、ISIC2018に適用します。これらのデータセット群には、データの規模とモダリティの多様性が含まれています。すべてのMedMNIST（v2）データセットにおいてベンチマーク結果を上回り、Clean-CC-CCIIおよびISIC2018では文献上競争力のある結果を得ました。