要旨: ニューロンの形態は、回路の機能・発達・疾患に関する重要な情報を符号化しているが、現在の手法ではトポロジーやグラフ構造をそれ単体として解析するにとどまっている。私たちは、CLIPスタイルの対照学習を通じてこれらの補完的な見方を統合するマルチモーダル・アーキテクチャであるGraPHFormerを提案する。
私たちのビジョン・ブランチは、DINOv2-ViT-Sにより、重みなし・永続度（persistence）で重み付けした・半径で重み付けした3種類のトポロジカル密度を符号化する新しい3チャネルの永続性画像（persistence image）を処理する。並行して、TreeLSTMエンコーダがスケルトングラフから幾何学的属性と半径属性を捉える。これらの双方は、対称なInfoNCE損失で学習される共有埋め込み空間へ射影され、さらにトポロジカルな意味論を保持する永続性空間変換によって補強される。
6つのベンチマーク（BIL-6、ACT-4、JML-4、N7、M1-Cell、M1-REG）で自己教師ありおよび教師ありの設定において評価したところ、GraPHFormerは5つのベンチマークで最先端の性能を達成し、トポロジーのみ・グラフのみ・形態計測（morphometrics）に基づくベースラインを大幅に上回る。私たちは、皮質領域や種をまたいでグリア細胞の形態を識別すること、ならびに発達過程および退行性過程に由来する特徴を検出することによって、実用的な有用性を示す。
コード: https://github.com/Uzshah/GraPHFormer
GraPHFormer: ニューラ科学モルフォロジー解析のためのマルチモーダル・グラフ永続ホモロジー・トランスフォーマー
arXiv cs.CV / 2026/3/24
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- GraPHFormerは、ニューラルモルフォロジー解析において「トポロジー」と「グラフ構造」を別々に扱っていた既存手法を、CLIPスタイルの対照学習で統合するマルチモーダルTransformerアーキテクチャとして提案されています。
- ビジョン側は3チャネルのPersistence image（未重み・persistence重み・半径重み）をDINOv2-ViT-Sで処理し、並行してTreeLSTMがスケルトングラフから幾何・半径属性をエンコードして共通埋め込み空間へ写像します。
- 共有埋め込み空間は対称なInfoNCE損失で学習され、さらにトポロジー意味を保つためのpersistence空間変換が導入されています。
- 6つのベンチマークで、複数の条件（自己教師あり・教師あり）においてトポロジーのみ/グラフのみ/形態計測のみのベースラインを上回り、5つのベンチマークでSOTAを達成したと報告されています。
- コードが公開されており、皮質領域や種間でのグリア形態の識別、発生過程や変性過程の兆候検出といった実利用例も示されています。
