UCell：バイオメディカル・ビジョンモデルの汎化性とスケーリングを再考する

Abstract

現代の深層学習分野は、スケール中心のものです。より大きなモデルは、同様のアーキテクチャをもつより小さなモデルに比べて一貫して優れた性能を発揮することが示されています。しかし、生物医学研究の多くのサブ領域では、モデルのスケーリングが利用可能な学習データ量によってボトルネック化しており、さらに高品質なデータを追加で生成・検証することに伴う高コストが問題となります。この実務上の障壁にもかかわらず、進行中の研究の大半はより大きな基盤モデルを構築することに焦点が当てられている一方で、小さなモデルの能力を向上させるという代替案は十分に検討されていません。ここでは、現代の基準では非常に小さい1,000万〜3,000万パラメータのモデルを構築して、単一細胞のセグメンテーション課題に取り組むことを試みます。重要な設計上の選択として、モデルの順伝播計算グラフに再帰的な構造を組み込むことで、よりパラメータ効率の高いアーキテクチャを実現しています。単一細胞のセグメンテーションにおいて、複数のベンチマーク上で、私たちの小型モデルUCellは、10〜20倍のサイズのモデルと同等の性能を発揮し、未知の領域外データに対しても同程度の汎化性能を示すことを見出しました。さらに重要な点として、ucellは、天然画像に対する大規模な事前学習に依存することなく、顕微鏡イメージングデータのセットのみでスクラッチから学習できることを確認しました。そのため、モデル構築を外部の商業的な利害関心から切り離します。最後に、多様な小規模データセットに対して、幅広いワンショットおよびフェWショットの微調整実験を行うことで、ucellの適応可能性を検証し、確かめました。実装は https://github.com/jiyuuchc/ucell で利用可能です