Rhamba：安静時fMRIの自己教師あり学習のための、領域を考慮したハイブリッドAttention-Mambaフレームワーク

arXiv cs.LG / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

Rhambaは、安静時fMRI向けの自己教師あり事前学習フレームワークで、解剖学的に導く領域ベースのマスキングと、ハイブリッドなAttention-Mambaによる系列モデリングを組み合わせています。
ABIDEデータセットでの事前学習では、領域に整合したパッチ埋め込みと3種類のマスキング戦略（Any、Majority、Pure：空間特異性を段階的に高める）を用い、Mambaのみ、MambaとAttentionを交互に切り替えるAlternate、さらにハイブリッドなエンコーダ・デコーダ構成（AMとMA）など複数のアーキテクチャを比較します。
下流タスクとして、統合失調症と注意欠陥/多動性障害の識別（COBREおよびADHD-200）で微調整すると、再構成損失は一貫した順序（Any > Majority > Pure）で変化する一方、下流性能への影響はわずかで、データセット依存でした。
ハイブリッド構成のうちMA（Mamba-Attention）が両データセットで平均AUROCが最も高く、Integrated Gradientsによる領域別の解釈分析では、最高性能は単一の設定ではなく「マスキング戦略×アーキテクチャ」の相互作用に依存することが示されました。
著者らは、Rhambaが既存の最先端手法を上回りつつ、大規模fMRI表現学習において解釈可能性・スケーラビリティ・性能のバランスを柔軟に取りやすいと主張しています。

Abstract

自己教師あり事前学習は大規模な神経画像解析に有望である一方で、領域を意識したマスキングとハイブリッドな系列モデリングの影響は、いまだ十分に調査されていません。本研究では、安静時機能的磁気共鳴画像法（fMRI）解析のために、解剖学的ガイドに基づくマスキングと、ハイブリッドなAttention-Mambaアーキテクチャを統合した領域認識型事前学習フレームワークであるRhambaを提案します。モデルはABIDEデータセットで、領域に整合したパッチ埋め込みと、空間的な特異性を段階的に高める3つのマスキング戦略（Any、Majority、Pure）を用いて事前学習されました。評価したのは4つのアーキテクチャのバリアントです。すなわち、Mambaのみのモデル、MambaブロックとAttentionブロックを交互に配置するAlternateアーキテクチャ、そして2つのハイブリッドなエンコーダ・デコーダ構成（Attention-Mamba（AM）およびMamba-Attention（MA））です。事前学習済みモデルは、統合失調症および注意欠陥/多動性障害の識別のために、COBREおよびADHD-200データセットを用いて、下流の分類タスクで微調整しました。さらに、説明可能なAI手法であるIntegrated Gradientsを用いて、モデルの予測に寄与する脳領域を特定しました。マスキング戦略は再構成挙動に強く影響し、再構成損失は一貫した順序（Any ＞ Majority ＞ Pure）に従いました。しかし、この傾向は下流性能には直接的には反映されず、差はわずかであり、データセット依存でした。MA構成を用いたハイブリッドアーキテクチャが、両データセットで最高の平均AUROCを達成し、Rhambaは比較評価において最先端手法を上回りました。領域ごとの解析では、ピーク性能は単一の支配的な構成ではなく、マスキング戦略とアーキテクチャの相互作用に依存することが示されました。全体として、Rhambaは、大規模fMRI表現学習において、解釈可能性・スケーラビリティ・性能のバランスを取るための柔軟なフレームワークを提供します。